Докато OpenAI води пътя за генеративно развитие на AI, мнозина обвиняват Google, че изостава. Въпреки това, за да не бъде изостанал, Google пусна нов голям езиков модел, PaLM 2, на своята I/O конференция на Google през 2023 г.
Настроен да се предлага в четири различни размера за набор от приложения, новият LLM на Google очевидно вече захранва няколко услуги на Google, като предстоят още много.
Какво е PaLM 2?
На Google I/O 2023, проведено на 10 май, главният изпълнителен директор на Google Сунда Пичай разкри най-новата играчка на Google: PaLM 2.
Съкратено от Pathways Language Model 2, надграденият LLM на Google е втората итерация на PaLM, като първата версия стартира през април 2022 г. Не можете да си спомните PaLM? Е, по това време беше голяма новина и предизвика купища интереси заради способността си да разговаря малко, да разказва основни вицове и т.н. Бързо напред шест месеца и GPT-3.5 на OpenAI взриви всичко от водата, включително PaLM.
От тогава, OpenAI пусна GPT-4, масивна надстройка на GPT-3.5. И все пак, докато по-новият модел се интегрира в множество инструменти, най-вече Bing AI Chat на Microsoft, Google се прицелва в OpenAI и GPT-4 с PaLM 2 и ще се надява, че неговият надграден LLM може да запълни това, което изглеждаше значителна празнина - стартирането на Google Bard едва ли беше рев успех.
Pichai обяви, че PaLM 2 ще се предлага в четири различни размера на модела: Gecko, Otter, Bison и Unicorn.
Gecko е толкова лек, че може да работи на мобилни устройства и е достатъчно бърз за страхотни интерактивни приложения на устройството, дори когато е офлайн. Тази гъвкавост означава, че PaLM 2 може да бъде фино настроен, за да поддържа цели класове продукти по повече начини, за да помогне на повече хора.
Тъй като Gecko може да обработва около 20 токена в секунда – токените са стойностите, присвоени на реални думи за използване от генеративни AI модели – изглежда вероятно това ще промени играта за инструменти за мобилно внедряване на AI.
PaLM 2 Данни за обучение
Google не беше съвсем предстоящ с данните за обучение на PaLM 2, разбираемо, като се има предвид, че току-що беше пуснат. Но на Google Доклад за PaLM 2 [PDF] каза, че иска PaLM 2 да има по-задълбочено разбиране на математиката, логиката и науката и че голяма част от обучителния му корпус се фокусира върху тези теми.
И все пак си струва да се отбележи, че PaLM не беше мързелив. Кога Google разкри PaLM, той потвърди, че е обучен на 540 милиарда параметъра, което по това време беше колосална цифра.
Твърди се, че GPT-4 на OpenAI използва над един трилион параметри, като според някои спекулации тази цифра достига 1,7 трилиона. Сигурно е, че тъй като Google иска PaLM 2 да се конкурира директно с LLM на OpenAI, той ще включва най-малкото сравнима цифра, ако не и повече.
Друг важен тласък на PaLM 2 са неговите данни за езиково обучение. Google е обучил PaLM 2 на над 100 езика, за да му даде по-голяма дълбочина и разбиране на контекста и да увеличи възможностите му за превод.
Но това не са само говорими езици. Свързвайки се с търсенето на Google за PaLM 2 за предоставяне на по-добри научни и математически аргументи, LLM има също е обучен на повече от 20 езика за програмиране, което го прави феноменално предимство за програмистите.
PaLM 2 вече захранва услугите на Google, но все още изисква фина настройка
Няма да мине много време, докато се сдобием с PaLM 2 и видим какво може да направи. С малко късмет пускането на всякакви PaLM 2 приложения и услуги ще бъде по-добро от Bard.
Но може вече (технически!) да сте използвали PaLM 2. Google потвърди, че PaLM 2 вече е внедрен и се използва в 25 от неговите продукти, включително Android, YouTube, Gmail, Google Docs, Google Slides, Google Sheets и др.
Но докладът PaLM 2 също така разкрива, че има още работа за вършене, по-специално за токсични реакции в редица езици.
Например, когато са дадени специално токсични указания, PaLM 2 генерира токсични отговори в повече от 30 процента от времето. Освен това, на определени езици – английски, немски и португалски – PaLM 2 доставя повече токсични реакции от 17 процента от времето, като подканите, включително расова идентичност и религии, увеличават тази цифра по-висок.
Колкото и изследователи да се опитват да изчистят данните за LLM обучение, неизбежно е някои да се промъкнат. Следващата фаза е да продължите обучението на PaLM 2 за намаляване на тези токсични реакции.
Това е период на бум за големите езикови модели
OpenAI не беше първият, който стартира голям езиков модел, но неговите модели GPT-3, GPT-3.5 и GPT-4 несъмнено осветиха синия тъчпапер на генеративния AI.
PaLM 2 на Google има някои проблеми за отстраняване, но това, че вече се използва в няколко услуги на Google, показва доверието, което компанията има в най-новия си LLM.
