Яндекс Шедевр научился создавать видеоролики по просьбам пользователей

Яндекс первым на российском рынке запустил для пользователей технологию создания видео с использованием нейросети. Приложение Masterpiece научилось генерировать видео в ответ на текстовые запросы. Эти видеоролики можно использовать для создания клипов, анимации, динамических аватаров.

Masterroom научился создавать короткие видеоролики длиной четыре секунды и частотой 24 кадра в секунду. Результатом можно поделиться с друзьями или сохранить в формате MP4.

Пока функция работает в тестовом режиме. Генерация видео доступна в обновленной версии приложения для активных пользователей. Результаты каждый может увидеть в ленте.

Чтобы в Masterpiece создать видео, вам необходимо в тексте описать то, что вы хотите увидеть. В ответ приложение предложит четыре варианта первого кадра и набор анимационных эффектов. Нейронная сеть берет за основу выбранное пользователем изображение, генерирует набор его модифицированных версий и объединяет все с выбранным эффектом. Теперь их семь: масштабирование (зум), таймлапс (перемотка вперед), полет, панорамирование, поворот, подъем и морфинг (постепенное изменение).

Для создания кадров будущего видео сервис использует метод каскадной диффузии. Сначала нейросеть создает изображения в соответствии с запросом, а затем постепенно увеличивает их разрешение, насыщая деталями.

Генерация видео дополняет другие возможности Masterroom — создание изображений и текстовых публикаций с заголовком и иллюстрацией.

Напомним, Яндекс представил Masterpiece в апреле 2023 года. Сразу после запуска приложение попало на первые строчки российских топов App Store и Google Play, и с тех пор его установили более 5,8 млн пользователей iOS и Android.

Источник: пресс-релиз Яндекса