Сет ФорсгренСпівзасновник та генеральний директор Riffusion, очолює розробку інструменту генерації музики, що працює на AI, який створює аудіозаписи з текстових підказок. Riffusion дозволяє користувачам експериментувати з різними музичними стилями та звуками в режимі реального часу, роблячи створення музики більш доступним. Розроблена як для творчості, так і для простоти використання, платформа дозволяє будь-кому досліджувати музику, що генерується AI, не вимагаючи формальної музичної експертизи.
Риффузія – найкращий генератор музики AI, який я особисто пробував, і це інструмент, який я б рекомендував для користувачів, зацікавлених музикою, що створюється AI.
Чи можете ви повернути нас до перших днів риффузії? Якою була початкова іскра, яка змусила вас побудувати інструмент генерації музики AI?
Riffusion розпочався як загальний проект хобі між двома музикантами протягом усього життя. Мій співзасновник, Хейк, і я вже більше десяти років грали в аматорських групах, і ми завжди були захоплені творчим актом. Одного дня ми були на моєму задньому дворі, писали пісню, і в пошуку натхнення ми почали грати з ранніми моделями AI, які могли б генерувати зображення з нічого. Але те, що ми насправді хотіли, – це інструмент, який міг би створити музику з нами, AI, з яким ми могли співпрацювати, щоб створити нові мелодії та звуки, які ніхто ніколи не чув. У той час нічого подібного не було, тому ми намагалися побудувати його для себе більше, ніж будь -хто інший.
У який момент ви зрозуміли, що він має потенціал стати повноцінною компанією?
Поворотний момент настав, коли ми поділилися нашим хобі -проектом з кількома друзями, і з нізвідки він пішов з розуму. Це не просто технологи чи любителі ШІ, які були зацікавлені – професійні музиканти, продюсери та мільйони повсякденних любителів музики займалися цим способами, яких ми ніколи не могли передбачити. Деякі з наших улюблених артистів у світі почали тягнутись із зразками, які вони створили за допомогою Riffusion!
Проект також надихнув провідні дослідницькі лабораторії в Google, Bytedance та інші, щоб скрутити власні музичні зусилля AI на основі нашої роботи, і було зрозуміло, що це не просто експеримент – це було основою для чогось набагато більшого. Як компанія, тепер у нас є шанс довести цей новий інструмент творчим людям скрізь.
Які найбільші технічні та бізнес -проблеми, з якими ви стикалися, коли переходили рифузію з експерименту в комерційний продукт?
З технічної сторони ми пройшли довгий шлях. Наші перші моделі генерували зернисті п’ятисекундні фрагменти музики з низькою вірністю, і тепер ми можемо генерувати повнометражні високоякісні пісні з великою керованою та виразністю. Це призвело до великих досягнень архітектури моделі та постійно переосмислюючи речі з нуля. Це заслуга для дивовижних дослідників нашої команди, що ми зайшли так далеко, і ми знаємо, що це все ще лише початок того, що можливо з технікою.
Що стосується бізнесу, нам довелося глибоко подумати про те, де вписується в музичну індустрію Riffusion. Музика AI все ще нова, і, хоча ми бачимо неймовірне усиновлення як від аматорських творців та професіоналів, існує постійна розмова про те, як може співіснувати AI та людська творчість. Наша увага завжди була на розширенні можливостей музикантів, а не заміни їх – даючи людям нові інструменти для вивчення своєї творчості способами, які вони ніколи не вважали можливими.
Рифузія спочатку зосереджена на створенні коротких музичних рифів, але тепер вона може скласти повнометражні шматки. Які досягнення дозволили вам розширити його можливості?
Навчаючи власні моделі фундаменту з нуля, нам вдалося покращити якість, виразність та керованість продукції Riffusion. Основний прорив відбувся з розробкою та випуском нашої останньої моделі, Fuzz. У сліпому тестуванні Fuzz послідовно перевершує конкуруючі моделі, коли надаються однакові тексти та звукові підказки, а модель унікально розроблена, щоб допомогти користувачам знайти їх особистий звук – чим більше часу користувач витрачає за допомогою рифузії, тим більше нечітка вивчає їх індивідуальний смак і Чим більш персоналізована створена музика. Ми бачимо це як великий диференціатор для риффузії.
Багато музичних моделей AI борються з підтримкою емоційної глибини музики. Як риффузія фіксує нюанси різних настроїв та стилів?
Музика глибоко особиста та емоційна, і ми хочемо, щоб риффузія генерувала музику, яка резонує на людському рівні. Як каже наш радник Алекс Палл, “це не про видання звуку; Йдеться про те, щоб люди відчували щось особливе через звук ».
Так само, як добре зроблена скрипка може наділити художника повністю висловити себе, ми навчаємо наші моделі бути інструментом, керованим творчістю користувача на кожному кроці. Незалежно від того, чи вводите ви мелодію, текстовий підказок чи навіть зображення, риффузія адаптується до вашого наміру, формуючи вихід, щоб відобразити різні настрої, динаміку та стилістичний вибір. Ми зосереджені на користувачах, які повертаються день у день, щоб створити справді дивовижну музику на платформі.
По мірі того, як музика, що генерується AI, продовжує розвиватися, як ви бачите, як вона доповнює, а не замінює людську творчість?
AI – це інструмент для музикантів, а не заміна. Протягом історії нові музичні інструменти – від синтезаторів до цифрових аудіо -робочих станцій – розширили те, що художники можуть створити, не зменшуючи артистизм людини. Ріффузія слідує за тією ж філософією. Ми бачимо риффузію як інструмент, який заохочує музикантів експериментувати, співпрацювати та спробувати нові форми розповіді. Художники все ще приносять душу та наміри до своєї музики, а AI допомагає втілити ці ідеї в життя. Ми в захваті від того, що стільки професійних музикантів та ентузіастів щодня охоплюють цей інструмент та знаходять радість у творчому процесі.
Як музиканти та продюсери відповіли на можливості Riffusion? Ви бачили якісь несподівані чи інноваційні використання інструменту?
Відповідь була досить неймовірною. Було декілька, хто почав користуватися цими інструментами років тому, але щотижня кількість професійних музикантів та продюсерів, які охоплюють технологію, різко розширюються. Ми бачили, як художники використовують рифузію для мозкового штурму нових мелодій, створюючи нові звуки та навіть складання цілих альбомів. Деякі змішали покоління Riffusion з живими інструментами для створення абсолютно нових жанрів. Однією з найбільш захоплюючих речей було те, як люди беруть цей інструмент і роблять його своїм, будь то генерує музику від звуків природи, тестування експериментальних композицій чи забиття кінематографічних творів.
Тепер, коли риффузія може створювати музику з довгими формами, чи бачите ви потенціал для покоління AI у фільмі, відеоіграх чи інших медіа?
Здатність генерувати музику з довгими формами, безумовно, робить Riffusion потужним інструментом для більшого медіа-пейзажу. Ми вже бачимо інтерес з боку режисерів, розробників ігор та творців контенту, які хочуть унікальних балів, які адаптуються до їх розповідей, можливо, навіть у режимі реального часу. Зрозуміло, що AI може допомогти розповідачам висловити себе в умовах модальностей, і ми просто на початку цього кордону.
Забігаючи наперед, яке ваше остаточне бачення риффузії, і як ви бачите, як воно формує майбутнє створення музики?
Сьогодні лише крихітна частка людей займається музикою, але творчість притаманна всім нам. Створюючи інструменти, що знижують бар’єр для входу, а також піднімаючи стелю, що можливо з звуком, рифузія буде важливим інструментом у майбутньому. Я бачу риффузію як місце для всіх, хто хоче створити, експериментувати та підключитися через музику. Незалежно від того, чи ви професійний продюсер чи хтось, хто ніколи раніше не робив пісні, ми хочемо, щоб риффузія була інструментом, який допомагає вам знайти ваш звук.
Дякуємо за чудове інтерв’ю, користувачі, які зацікавлені у створенні музики, повинні відвідати Риффузія.
