Протестировали первую в России нейросеть для создания видеороликов

В России запущена первая нейронная сеть для создания полноценных видеороликов по текстовому описанию — Kandinsky Video от «Сбербанка».

Kandinsky Video работает на основе двух блоков: один формирует ключевые кадры, задающие основу сценария, второй — генерирует промежуточные кадры для плавности движения в итоговом видео. В основе работы обоих модулей — передовая модель Kandinsky 3.0, создающая изображения на основе текста.

Специфика написания промта тут аналогична той, что используется при генерации изображений в Kandinsky. Из-за этого новая нейросеть переняла и все недостатки «Кандинского». Например, недостаточно предсказуемый результат, неумение адекватно добавлять в кадр текстовые элементы.

Вы можете создать анимацию из одной сцены или задать последовательность сцен, прописав для каждой свой промт. Интерфейс позволяет легко менять местами сцены простым перетаскиванием, а также задавать направление облета камеры.

Нейросеть способна генерировать видеоряд длительностью до 8 секунд, частотой 30 кадров в секунду и разрешением 512x512 пикселей с вариативными пропорциями кадра.

Формат сгенерированных видео представляет собой непрерывную сцену с активным движением объектов и фона. Это выделяет Kandinsky Video от традиционных анимаций, где динамика создаётся имитацией полёта камеры над неподвижным объектом. Скорость генерации зависит от количества сцен. Например, в наших тестах генерация одной сцены занимала 1,5 минуты. А вот на создание ролика из 3 сцен потребовалось уже больше 4 минут.

Ознакомиться с возможностями нейросети Kandinsky Video можно на платформе fusionbrain.ai и в Telegram-боте.