Google прави кодека си за реч с нисък битрейт на Lyra публичен

Google пусна своя бета-код на аудио кодек Lyra на GitHub, правейки невероятно качествена обработка на аудио с ниска битрейт достъпна за всички разработчици. Кодекът е най-полезен при вградени и ограничени честотни ленти ситуации, при които трябва да се запазят колкото се може повече данни.

Лира: Почти нищо никога не звучеше толкова добре

Аудио кодекът работи на принципа на осигуряване на възможно най-естествената реч с възможно най-ниска скорост на предаване на данни. Той успява да създаде почти зловещи нива на възпроизвеждане на аудио с битрейт до 3 kbps. Google използва компресия на Lyra в реално време вече в приложението си Duo, макар че няма да бъдете обвинявани, че дори не осъзнавате разлика от редовното аудио на честотната лента.

За да демонстрира колко по-добра е Lyra от другите кодеци, Google предоставя примери чрез a блог пост сравняване на кодек за компресиране, задвижван от машинно обучение, с други алтернативи 3 и 6 kbps.

Това е нощна дневна разлика и предоставянето на разработчиците по целия свят на тези инструменти ще бъде важен двигател за подобряване на качеството на комуникацията, когато честотната лента е оскъдна. Това е и отличен мотиватор за разработчиците, които искат да създават нови приложения на развиващите се пазари, нещо, което Google със сигурност ще покрие през тазгодишната година

безплатна виртуална онлайн I / O конференция на Google.

Понастоящем бета-кодът е проектиран с 64-битови Arm устройства, въпреки че примерите ще работят и на 64-битови x86 Linux системи. Изходният код е предоставен изцяло документиран, въпреки че е в бета версия, а страницата GitHub предоставя инструкции за инсталиране и как да се изгради Lyra на Linux за Arm 64-битови цели.

За да получите изходния код на Lyra бета, отидете на Страница на Lyra GitHub.

Как работи Лира?

Въпреки че действителният процес, който Lyra използва, е изключително сложна комбинация от обучени модели за машинно обучение хиляди часове речеви данни и оптимизации на съществуващата технология за аудио кодеци, теорията е съвсем просто.

На всеки 40ms функциите се вземат от речта и се компресират до 3kbps. Тези характеристики представляват речеви енергийни точки в честотния спектър, най-близки до слуховия говор на човека - нещата, които трябва да разпознаем и разберем, когато някой говори.

Ключовата част от това, което прави Lyra специална, е как използва тази информация:

Въпреки това традиционните параметрични кодеци, които просто извличат от речта критични параметри, които след това могат да бъдат използва се за пресъздаване на сигнала в приемащия край, постигане на ниски битрейтове, но често звучи роботизирано и неестествено. Тези недостатъци доведоха до разработването на ново поколение висококачествени аудио генеративни модели, които имат революционизира полето, като не само може да прави разлика между сигналите, но и да генерира напълно нови нечий.

След предаването Лира възстановява формата на вълната, като попълва липсващото, използвайки този процес, като по някакъв начин не е твърде изчислително сложна.

От една страна, това е технологично чудо, което ще работи почти навсякъде. От друга страна, все още не съм на 100% убеден, че не е магьосничество.

10 функции на Google Duo, които наистина трябва да използвате

Google Duo е едно от най-добрите приложения за видеообаждания там. Той има много функции и ето тези, които смятаме, че наистина трябва да използвате.

Прочетете Напред

За автора