Український гурт PROBASS ∆ HARDI, відомий на весь світ своїм треком «Доброго вечора, ми з України», створює музичні кліпи за допомогою штучного інтелекту. Навіщо це потрібно і як це позначається на творчості? 

Від синтезаторів до штучного інтелекту

— Як ви прийшли до того, аби користуватися ШІ? Вам не вистачало часу, ресурсу, натхнення робити музику власними силами, чи чому ви до цього вдалися? 

Артем: Ми працюємо з електронною музикою, яка максимально пов’язана із синтезаторами, осциляторами та іншими електронними звуками. Тому нам завжди були цікаві теми майбутнього, sci-fi. Тому ми подумали, що використання штучного інтелекту в нашій творчості додасть їй більше цієї футуристичної естетики, яка нам подобається. Це цікавий досвід, адже по суті ми взаємодіємо з «роботом» у процесі створення творчого продукту. Тобто причини початку співпраці з ШІ були чисто творчими.  ШІ надихає нас. Проте хочу наголосити, що ми не користуємось  ШІ, щоб безпосередньо писати пісні, треки чи тексти. 

— Наскільки ШІ є загрозою для музикантів, які його не використовують? 

Я не думаю, що штучний інтелект є прямою загрозою для музикантів, які його не використовують, але він точно може стати важливою перевагою для тих, хто прагне розширити свої можливості. ШІ значно спрощує деякі технічні процеси, економить час і розширює межі для креативу. Багато речей, які раніше вимагали спеціальних знань або часу на вивчення, тепер можна швидко реалізувати за допомогою ШІ. 

Для музикантів, які не хочуть застосовувати ШІ, збережуться традиційні методи створення контенту, але штучний інтелект вже зараз може дуже допомогти з візуалізацією, обкладинками та відео. Він відкрив нові можливості, які складно було б досягти звичайними методами. 

— Яка вартість ШІ-інструментів? Чи сильно їхнє використання здешевлює виробництво кліпів?

Я зараз точно не зможу сказати, тому що вартість ШІ-інструментів варіюється залежно від їхніх можливостей, і змінюється з часом. На той час, що ми робили останній кліп, тобто кілька місяців тому, ціна на місячне користування ChatGPT становила 10 доларів, а Topaz Labs приблизно 200. Але в цілому я все одно впевнено можу сказати, що використання інструментів ШІ значно здешевлює виробництво кліпів. Штучний інтелект дає можливість швидко створювати складні візуальні ефекти, обкладинки та навіть цілі сцени, які раніше вимагали б великої команди, дорогого обладнання і тривалих зйомок. ШІ дозволяє реалізувати найсміливіші ідеї. А якщо працювати з його інструментами постійно і правильно, можна досягти таких результатів, що навіть буде важко зрозуміти, чи створювався матеріал за допомогою ШІ, чи традиційними методами.

— Які загалом корисні для музикантів інструменти зі штучним інтелектом існують? 

ШІ розвивається дуже швидко. Кожного дня з’являються нові інструменти. Я не встигаю все відслідковувати. Знаю, що їх дуже багато, і для музикантів теж. Можу сказати, що наша команда для створення музичних відео використовувала ChatGPT, Leonardo AI, Runway Gen 2, Luma Dream Machine, Topaz AI, DALL-E, Kling.

— Чи позначаєте ви свої твори, як згенеровані з ШІ? Як взагалі аудиторія реагує на створені роботами твори?

Позначаємо, вказуємо в релізах, і взагалі не приховуємо, тому що вважаємо це своєю фішкою. Адже ми одні з перших українських музикантів, що почали активно працювати з ШІ. Публіка, судячи з переглядів і активності в коментарях, приймає нашу творчість дуже позитивно, тому і вирішили продовжувати. 

— Як ви ставитесь до морального аспекту використання ШІ в музиці? Художники б’ють на сполох. А музиканти? 

Згоден, що використання ШІ в музиці — питання непросте і викликає багато суперечок. Особисто я вважаю, що ШІ не повинен замінювати людську творчість, а радше бути інструментом, який допомагає музикантам розширити свої можливості. Ми самі не використовуємо ШІ для написання музики, а більше для практичних завдань, наприклад, створення візуальних концептів. Тобто основна частина творчості залишається за людиною.

Звісно, тут є моральний момент: де межа між допомогою та заміною людської роботи? Нам важливо, щоб музикант залишався головним у процесі, а ШІ був просто інструментом. Це допомагає тримати баланс між творчістю та новими технологіями. Важливо, щоб митці підходили до ШІ з відповідальністю та розуміли його можливості, але не піддавалися легким рішенням.

— Наскільки взагалі використання ШІ в українському шоу-бізнесі є мейнстрімом? Чи багато митців користуються його допомогою?

Чесно кажучи, я мало про це чув. Чув про RoboWave від Krechet. Олег Скрипка також випустив кліп, створений за допомогою ШІ. Однак таких прикладів поки небагато В цілому, того, що я чув, недостатньо, щоб казати, що використання штучного інтелекту в українському шоу-бізнесі можна назвати мейнстрімом. Це швидше поодинокі приклади, а не загальна практика. Тому ми відчуваємо себе першопрохідцями. 

— Як з’явилася ідея «Туману» — першого експерименту PROBASS ∆ HARDI з ШІ?

Єгор: Моя співпраця з PROBASS ∆ HARDI почалася в червні 2023 року, хоча особисто ми досі не зустрічалися — вся комунікація відбувалася онлайн. Тоді мені зателефонував друг і запропонував замінити його на проєкті для одного гурту, якому був потрібен музичний кліп. Їхнім особливим побажанням було додати елементи, створені за допомогою штучного інтелекту.

На той момент я не мав досвіду роботи зі штучним інтелектом, але вирішив взятися за цей виклик. Друг передав мій номер Артему PROBASS, який зателефонував і розповів ідею: зобразити битву в стилі аніме, перенести глядача у світ майбутнього, де весь візуал буде створений штучним інтелектом.

Я погодився на цей експеримент і за місяць реалізував проєкт.

Завданням було зробити кліп про майбутню Україну. Я довго вивчав, як реалізувати цю ідею, і знайшов кілька можливих підходів. Спочатку я підготував перший варіант кліпу і надіслав його музикантам. Проте він не відповідав їхнім очікуванням, і після масштабних зауважень довелося повністю переглянути концепцію.

Я вирішив підійти до проєкту більш експериментально, без зайвих рамок і обмежень. Підготував другу версію, яка в цілому сподобалася, але хлопці попросили додати більше своїх зображень у кліп. Це було технічно складно, адже потрібно було зберегти їхню схожість. Оскільки вони перебували на гастролях, вони самі зняли свої відео й надіслали мені матеріал для обробки й монтажу.

Кадри з ДахаБраха я взяв із їхніх виступів, підлаштував під ритм і загальну атмосферу кліпу. Музиканти активно корегували процес, вносили свої зауваження, і це дозволяло швидко вносити потрібні зміни. Завершив роботу за приблизно 10 днів — часом майже не спав, але результат того вартував.

Згодом, завдяки успіху «Туману», до мене звернувся Олег Скрипка з пропозицією зняти кліп на пісню «Батько наш Бандера» у схожій стилістиці. Я вдячний хлопцям за довіру і можливість реалізувати такий цікавий проєкт.

— Як ви робили «Полонину»? Чи були якісь цікаві моменти в процесі? 

Хлопці  звернулися до мене в червні, через рік після нашого попереднього проєкту. Вони попросили зробити кліп у стилі, більш наближеному до мультфільму чи сюжетного кіно.

Я почав продумувати, як найкраще реалізувати задум, але не вклався у строки. Однак, попри все, роботу я виконав згідно з їхнім баченням.

Сюжет повністю придумав Артем, а стилізацію під атмосферу 50-х років запропонувала наша AI-художниця Євгенія Чувило. Вона ж створила образ дівчини та інших персонажів, витриманих у єдиній стилістиці.

Для роботи над «Полониною» я використовував ChatGPT для створення базової розкадровки. Спочатку генерував зображення, які потім стилізував і допрацьовував через Leonardo AI, створюючи персонажів у потрібному стилі. Анімацію робив за допомогою  Runway Gen 2 і Luma Dream Machine, а для покращення якості зображень застосовував інструменти для Upscaling — зокрема, Leonardo AI та Topaz AI.

Процес виглядав так: спершу створював сирі зображення за допомогою ChatGPT і DALL-E, добиваючись необхідної композиції. Далі завантажував ці зображення в Leonardo AI, де з допомогою промптів, референсів персонажів і стилю налаштовував їх під атмосферу 50-х років, додаючи, наприклад, образ дівчини з потрібними рисами обличчя. Потім виконував додатковий Upscale через Leonardo AI для кращої якості та деталізації.

На наступному етапі зображення завантажував у Luma чи Runway для анімації. Використовував Luma Dream Machine для динамічних кадрів і Gen 2 Runway для сцен з мінімумом руху, оскільки Runway Gen 3 ще не був доступний. Деякі кадри також створював через Kling — китайську платформу для графіки.

Після завершення монтажу остаточний кліп покращив до 4K якості через Topaz AI.

Так ми завершили цей кліп, в якому всі деталі — від головних героїв до візуальної естетики — передають задум, над яким працювала наша команда.

— Чи правильно ми розуміємо, що ключове завдання в роботі з ШІ — правильно написати промпт? 

Я вважаю, що чим ретельніше пропрацьовано промпт, тим кращий результат. Послідовність — ключовий фактор. Спочатку прописують основну дію та місце, потім — деталі костюму та інші елементи, а стилістику — в кінці.

Для створення промптів у GPT все досить просто: мені подобається легкість написання, адже можна прямо описувати свої ідеї українською або іншою мовою в розмовному форматі, і цього достатньо для отримання бажаного результату. Щодо стилізації, цим займалася Євгенія Чувило, з якою я співпрацював, і на цьому етапі вона створювала промпти для зображень. Я також створив декілька зображень разом із нею.

Для точного опису було важливо вказувати колір, деталі одягу, зачіски та інші елементи образу. Корисним було додавати характеристики на кшталт Super Panavision 70 — формату зйомки, популярного у 1950-60-х роках, на 70-міліметрову плівку, що допомагало отримати послідовні кадри. Щоб досягти цілісності стилю, важливо було повторювати в кожному промпті такі елементи, як «Panavision 70», «Sci-fi», або «Movie 50-х, 60-х». Це забезпечувало злагодженість між кадрами, щоб вони виглядали частиною одного стилю, а не окремими зображеннями.

Для анімацій з простими діями, як-от дівчина, що стріляє, достатньо простого промпту. Але складні сцени, на кшталт людини, що сидить збоку на гелікоптері й стріляє, вимагають детальнішого опису: положення персонажа, рух землі внизу, деталей польоту тощо. 

Приклади промптів

— Яке ви бачите майбутнє для креативної й арт індустрії з ШІ?

Єгор: Через п’ять років 70% кліпів створюватимуться повністю за допомогою інструментів штучного інтелекту, а решта міститимуть окремі згенеровані елементи. Наприклад, для відтворення дорогих чи складних сцен. Одні кадри будуть зніматися, інші — генеруватися.

Також, думаю, з’являться перші повнометражні фільми, повністю створені за допомогою ШІ. Я сам планую зробити один із таких фільмів у найближчі роки.

Це вплине на контент, кіно та відеовиробництво загалом. Інструменти ШІ стануть звичними й в рекламі, і в кліпах, і в кіноіндустрії. Така зміна скоротить деякі робочі місця, але також відкриє шлях для нових спеціалістів і творчих особистостей, які будуть здатні втілювати свої ідеї з мінімумом ресурсів. Можливо, роль сценаристів і режисерів стане головною у процесі виробництва, і для створення проєктів знадобиться менше людей.

Це принесе більше свободи та можливостей для реалізації креативних задумів.