Stability AI представила свою новую модель искусственного интеллекта — Stable Virtual Camera, способную превращать 2D-изображения в видео с реалистичной глубиной и перспективой. Эта модель, как утверждает компания, значительно расширяет возможности пользователей в создании содержимого.
Виртуальные камеры нашли широкое применение в цифровом кинопроизводстве и 3D-анимации, где они используются для захвата и навигации по сценам в реальном времени. С Stable Virtual Camera, Stability AI стремится объединить генеративный ИИ с инструментами для создания контента, предоставляя пользователям больше контроля и возможностей для настройки своих работ.
Stable Virtual Camera может генерировать «новые виды» сцен, используя одно или несколько изображений (до 32) и заданные углы камеры. Модель также позволяет создавать видео, следуя динамическим траекториям или предустановленным маршрутам, таким как «Спираль», «Dolly Zoom», «Перемещение» и «Панорамирование». Текущая версия модели, находящаяся на стадии исследовательского тестирования, предлагает возможность создавать видео в различных соотношениях сторон.
Компания Stability AI отмечает, что несмотря на впечатляющие возможности модели, в некоторых случаях, особенно при работе с изображениями людей, животных или динамических текстур, таких как вода, качество может быть ниже ожидаемого. В блоге компании указано, что сложные сцены или пересекающиеся объекты могут вызывать мерцающие артефакты, особенно когда точки обзора значительно отличаются от исходных изображений.
Stability AI, находящаяся в сложной финансовой ситуации, является создателем широко известной модели генерации изображений Stable Diffusion. В прошлом году компания привлекла инвестиции от таких известных финансистов, как Эрик Шмидт и Шон Паркер, в рамках попытки восстановить бизнес. Однако финансовые затруднения и управление соучредителя и бывшего генерального директора Эмада Мостака вызвали значительные беспокойства среди инвесторов.
В последние месяцы Stability AI привела в свои ряды нового генерального директора и назначила в совет директоров режиссера Джеймса Кэмерона, а также выпустила несколько новых моделей генерации изображений. В марте этого года компания также объединилась с производителем микросхем Arm, чтобы создать модель ИИ, генерирующую звук для мобильных устройств.
Stable Virtual Camera доступна в рамках исследовательского использования на некоммерческой лицензии и доступна для загрузки с платформы Hugging Face.