Meta створила нову модель штучного інтелекту під назвою Movie Gen, яка перетворює текстові підказки на відносно реалістичне відео зі звуком.
Movie Gen має чотири можливості: генерація відео, персоналізована генерація відео, точне редагування відео та генерація аудіо.
«Ми навчили ці моделі на комбінації ліцензійних і загальнодоступних наборів даних», — зазначила компанія.
Звук генерується відповідно до змісту відео, додаючи, наприклад, звуки двигуна, що відповідають руху автомобіля, або шум водоспаду на задньому плані, навіть додасть музику, якщо це буде доречно.
Серед зразків робіт Movie Gen були відео, де тварини плавають і займаються серфінгом. Також відео, де на реальних фотографіях людей зображені дії, які вони виконують, наприклад, малюють на полотні.
Movie Gen може згенерувати відео тривалістю до 16 секунд зі швидкістю 16 кадрів за секунду.
За словами компанії, люди також можуть використовувати інструмент для редагування наявних відео.
«Зараз Movie Gen — це суто дослідницька концепція ШІ, і навіть на цій ранній стадії безпека є головним пріоритетом, як це було з усіма нашими генеративними технологіями ШІ», — сказав представник Meta у відповідь на запитання TechCrunch.
На відміну від, скажімо, великих мовних моделей Llama, Movie Gen не буде загальнодоступною. Код не буде опублікований, за винятком «базового набору даних підказок для оцінки», тобто запису того, які підказки були використані для створення тестових відеороликів.
Компанія поділилася технічними подробицями в дослідницькій роботі.
