Какво представлява Jukebox на OpenAI и какво можете да правите с него?

Генеративният AI бавно се разпространява във все повече дисциплини в творческата индустрия. Той започна с AI арт генератори и след това се разпространи към писане с AI генериран текст. Сега можем да добавим музика към този списък.

В близко бъдеще генерираната от AI музика, създадена от нулата, ще стане реалност. Всъщност това вече е възможно с Jukebox, моделът на OpenAI за създаване на музика с AI. Все още не е достъпно като лесно за използване приложение и все още не звучи достатъчно добре, но алгоритмичните кости са налице.

Ето какво трябва да знаете за Jukebox на OpenAI и какво можете да правите с него.

Jukebox: AI, който генерира музика като необработено аудио

Jukebox е невронна мрежа, която може да генерира музика в сурова аудио форма, когато й дадете вход като жанр, изпълнител или текст. Беше пуснат през април 2020 г. от OpenAI, същата компания, която ни донесе генератора на изкуство с изкуствен интелект, наречен Dall-E, и AI чатбота, наречен ChatGPT.

За разлика от Dall-E, който се разпространи бързо по света и превърна ИИ в трескава тема на новините и медиите, Jukebox не регистрира широк спектър от интереси след пускането си. Една от причините за това е, че няма удобно за потребителя уеб приложение – поне все още не.

Можете да намерите кода на Уебсайт на OpenAI, заедно със задълбочено обяснение как работи процесът на кодиране и декодиране.

Друга вероятна причина е, че отнема огромно количество време и изчислителна мощност. За да ви дам представа, рендирането на само една минута аудио може да отнеме 9 часа. Ще ви е необходима готовност да изследвате модела в неговата кодова форма, плюс много търпение, ако искате да видите какво може да направи един AI модел, за да генерира музика.

Или можете да преминете към Jukebox Sample Explorer. Това е мястото, където OpenAI публикува своите експерименти за генериране на песни по подобие на Ела Фицджералд или 2Pac.

За да бъде ясно, други AI музикални инструменти съществуват, за да ви помогнат да генерирате песен, но те не генерират аудио от нулата. Вместо това те или комбинират предварително записани семпли, или създават MIDI информация, която се предава през цифров синтезатор.

Как звучи Jukebox?

Резултатите на Jukebox са разпознаваеми, но странни. Не е трудно да се разбере формата на песента и жанра, към който принадлежи, а качеството на резултатите звучи така, сякаш слушате част от най-ранната записана музика: тоест, заглушена с много шум.

Безопасно е да се каже, че Jukebox не произвежда звука с висока вярност, който бихте чули от чифт добри слушалки. По-скоро е като да чуете музика от радиостанция, която не е напълно настроена на правилната честота. Някои песни са преиздания, докато други са продължения на съществуващи песни. Има и категория за нови артисти и стилове и невиждани текстове.

Въпреки качеството на звука, ранните експериментатори описват, че са били възхитени от зловещата красота и странната природа на музиката, създадена от Jukebox. „Като саундтрак към документация за непозната страна с непозната култура“, пише Merzmench на Medium.

В момента резултатите далеч не са достатъчно добри, за да копират или дори заменят музика, създадена от хора, но технологията се развива бързо и съвсем скоро модели като Jukebox ще могат да постигнат тези постижения също.

Как беше обучен Jukebox на OpenAI

Част от начина, по който Jukebox успява да създаде музика, която никога преди не е съществувала, е, че е обучен върху музиката на истински музиканти. OpenAI обяснява, че:

„За да обучим този модел, ние обходихме мрежата, за да подберем нов набор от данни от 1,2 милиона песни (600 000 от които са на английски), съчетани със съответните текстове и метаданни от LyricWiki.“

Обхождането за данни е практика, използвана от някои AI компании за създаване на набор от данни, които AI модел може да използва, за да се учи от и да взема решения при генериране на изображение, текст или в този случай музика. Наборите от данни, създадени чрез обхождане, са противоречиви, тъй като на първо място не се получава съгласие от собствениците на данните. Въпреки това, някои платформи ви позволяват изключете съдържанието си от набори от данни.

Може би си мислите, че 1,2 милиона песни са много, но за сравнение, Dall-E 2 е обучен на стотици милиони двойки изображение-текст от интернет. Имайки това предвид, Jukebox има своите ограничения.

Неговият сравнително малък набор за обучение не може да улови богатството и разнообразието на човешката музика. OpenAI заяви, че до голяма степен е обучен на западна музика, което представлява ясно пристрастие към това каква музика е способен да генерира.

Какво можете да правите с Jukebox?

И така, имайки предвид неговите ограничения, какво можете да правите с Jukebox? Бърз начин да отговорите на този въпрос е да кажете какво не можете да правите с Jukebox.

Тъй като рендирането на една минута музика отнема близо половин ден, това не е много полезно за продуциране на музика. Поне не в традиционния смисъл. Обикновено музикантите се движат напред-назад между свиренето на инструмент (импровизирането) и планирането на структурата на песента. Същият вид експериментиране не е възможно с Jukebox.

Тъй като не е лесно да създадете песен с Jukebox на този етап, можете да мислите за това по-скоро като за нов начин за генериране на музикални семпли. След като генерирате аудио, което харесвате, можете да го използвате във вашите творчески проекти, както обикновено.

Видеото по-долу е резултат от това, че някой е използвал музика, създадена с Jukebox, за да подчертае кратък монтажен видеоклип.

Изкуственият интелект има широк спектър от приложения и извън творческите приложения, поради което си струва разбиране какво е AI и опасностите, които крие.

Дрогнати ли сте от AI Music?

Музиката, генерирана от Jukebox, не е лесна за отхвърляне и въпреки цялата си странност и зловещо качество човек-машина, в крайна сметка звучи като музика. Докато музикалната индустрия използва AI инструменти от известно време, възможността за генериране на музика като необработено аудио едва сега е реалност.

Но докато съществуват модели като Jukebox, те все още не са опаковани в комерсиален инструмент и все още не отговарят на възможностите на човешките музиканти.