Какво е Deepfake Music? И как се създава?

Дълго време музиката успя да избегне света на дийпфейковете, защото просто беше твърде сложно да се синтезира нечий глас. Всичко това се промени с напредъка в AI технологията. Това доведе до гласови клонинги на известни изпълнители, които могат да се използват за създаване на нови вокални песни.

Тъй като AI инструментите стават все по-достъпни за обикновените хора, дълбоката фалшива музика е нарастващ проблем. Ето какво представлява и как се създава.

Еволюцията на Deepfake Music

Когато чуете любимия си изпълнител да пее в Spotify или YouTube, едва ли си мислите, че това може да е фалшиво, но напредъкът на AI превърна това в реалност. Наред с фалшиви изображения и видеоклипове съществува и deepfake музика.

AI инструментите могат вярно да възпроизвеждат певческия глас на човек чрез обучение на AI модел върху аудио проби от техния глас. Създадени от фенове на художника или фенове на AI технологията, повече хора се опитват да създадат вокални двойници.

Хората се опитват да синтезират гласа с помощта на компютър от години, стигайки до 1961 г., когато IBM 7094 е първият компютър, който пее. Можете да чуете компютърно генериран глас, пеещ Дейзи Бел в клип в YouTube и се опитайте да си представите колко невероятен е бил този момент.

Бързо напред към 21-ви век и технологията AI подобри качеството на синтезирания глас и ни позволи да правим неща, които повечето от нас не са смятали за възможни досега, като клониране на гласове на хора.

Просто погледнете този клип на Роберто Никсън, който трансформира гласа си в артиста и рапъра Кание Уест. Гледането на видеото е странно, наистина звучи точно като Kanye, но също така е неудобно за гледане. Без твърде много мисъл за това как артистът може да мисли или чувства, и без разрешение, това може да се разглежда като присвояване на нечий глас.

За разлика от компютърното представяне на Дейзи Бел, вокалното клониране с изкуствен интелект е в състояние да възпроизведе точното подобие на нечий глас, който включва всички фини разлики в тембъра, които ни помагат да идентифицираме нечий уникален вокал профил. Нелицензирана и направена без разрешение обаче, deepfake музиката има някои сериозни проблеми, които ще разгледаме по-късно.

Как се създават Deepfake песни

Използват се различни методи за създаване на deepfake песни, но много от тях използват AI технология. Проекти с отворен код като Проект за преобразуване на пеещ глас на SoftVC VITS в GitHub, например, са разработили AI модел, който прави това, което казва в името си: преобразува аудио проба в пеещ глас.

Този модел взема съществуващ аудио файл на някой, който пее, и го преобразува в гласа на някой друг. Неща като текста и ритъма на оригиналния глас се запазват, но тонът, тембърът и личните вокални качества се преобразуват в гласа, определен от набора от данни за обучение.

Имайте предвид, че други части от песента все още може да бъдат произведени ръчно, като например създаване на ритми и мелодии в същия стил и жанр като оригиналния изпълнител.

За да се създаде дълбока фалшива версия на гласа на Kanye West, набор от данни на трета страна трябваше да бъде въведен в модела SoftVC VITS, който ще включва проби от истинския глас на Kanye. Файлът, съдържащ набора от данни, оттогава е премахнат от автора, което не е изненадващо, като се има предвид мътната правна територия, която може да дойде с неоторизирани набори от данни.

Въпреки че не е превърнато в търговско приложение, можете да намерите версия на SoftVC VITS модел в Google Collab това е по-удобно за потребителя.

Докато не бъдат въведени етичните и законови граници, е възможно по-лесни за използване приложения за клониране на глас изскачащ прозорец - не е много различен от приложението Drayk.it, което превръща текстово описание в песни, стилизирани след изпълнителя Дрейк. По-късно беше закрит.

Някои други инструменти, които се използват за създаване на deepfake музика включват големи езикови модели като ChatGPT, който може да се използва за писане на текстове в стила на известен изпълнител; и Джубоксът на OpenAI и MusicLM на Google, които са генериращи AI модели, които могат да създават музика в сурова аудио форма напълно от нулата.

Можете ли да чуете разликата?

Песен, създадена от анонимен потребител, наречен Ghostwriter, стана вирусна в TikTok през април 2023 г., в не малка степен защото включваше текстове, изпяти от артистите Drake и The Weeknd. Разбира се, това не бяха истинските гласове на артистите, а фалшиви.

Ако вокалите не бяха толкова добро копие на оригинала, може би нямаше да е хит. С малко ровене можете да разберете доста бързо дали това е истинската сделка или не, но използвайки само ушите си, можете само да гадаете дали е автентично.

Ако искаш идентифициране на генерирано от AI изображение има поне няколко визуални аберации, които можете да търсите. Що се отнася до аудиото, признаци като аудио с ниска точност или проблеми в песента не означават много, тъй като това са творчески избори, използвани в музикалното производство през цялото време.

Още по-интересното е, че много хора наистина харесват песента, дори след като откриха, че не са истинските гласове на Drake или The Weeknd. Почитателите посочиха, че не всичко е просто генерирано с AI и че истинско умение и работа са вложени в написването на текстовете, композирането на бийтовете и сглобяването на цялото нещо.

Песента стигна до Spotify и YouTube, преди да бъде свалена през следващите дни, но не и преди феновете да изтеглят песента като mp3. Все още можете да намерите копия на песента онлайн, ако потърсите „Heart On My Sleeve, Drake ft. Уикенда".

Съвсем скоро забелязването на разликата между генерираните от AI вокални клонинги и истинския човешки глас ще стане почти невъзможно. Имайки предвид това, хората се питат дали това е добро използване на AI технологията на първо място или дори законна употреба.

Проблеми с Deepfake Music

От една страна, хората обичат да слушат създадени от фенове смесени композиции на любимите си изпълнители и уважават креативността, която е вложена в превръщането им в реалност. Но способността да имате вокални клонинги на първо място разчита на набори от данни, които могат или не могат да бъдат разрешени.

Без разрешение проби от гласа на човек се събират в набор от данни, който след това се използва за обучение на модел за преобразуване на AI глас. Подобно е на проблема, пред който е изправен артисти, които искат да премахнат своите изображения от набори от данни за обучение които се използват за обучение на AI генератори на изображения като Dall-E или Midjourney.

Законът за авторското право също не е напълно подготвен да се справи с дълбоката фалшива музика. През 2020 г. изпълнителят Jay-Z се провали в опита си да принуди YouTube да свали генерирано от AI аудио от негови реплики за рап от монолога на Уилям Шекспир „Да бъдеш или да не бъдеш“.

Когато дълбоко фалшива песен се качи в Spotify или YouTube, възниква и въпросът кой прави пари. Трябва ли да можете да печелите пари от песен, която почти точно копира гласа на някой друг?

Холи Херндън е един артист, който се е опитал да създаде система, чрез която хората да я компенсират в замяна на използването на нейния гласов модел за създаване на оригинална творба. Докато други артисти като Ник Кейв имат се обяви против AI, писане:

Песните възникват от страдание, с което имам предвид, че са основани на сложната вътрешна човешка борба на сътворението и, доколкото знам, алгоритмите не усещат.

Понякога, Текстът, генериран от AI, може да няма креативност като цяло те все още са публикувани онлайн. AI може да доведе до много лоша музика, за която са положени много малко усилия.

Намиране на баланс между музика и AI

Deepfake музиката се създава с помощта на AI инструменти и AI модели, които са обучени на неоторизирани масиви от данни. Някои модели са с отворен код и са свободно достъпни, докато други са правени опити да бъдат пакетирани в удобно за потребителя приложение.

Тъй като все повече хора се сдобиват с deepfake музикални модели или приложения, струва си да помислим за въздействието върху изпълнителя. Получаването на съгласие за набори от данни за обучение и компенсация за изпълнителя са само част от проблемите, надвиснали над музикалната технология с изкуствен интелект.