Google PaLM 2 срещу. OpenAI GPT-4: Каква е разликата?

Google представи следващото поколение на своя езиков модел Pathways (PaLM 2) на 10 май 2023 г. на Google I/O 2023. Неговият нов голям езиков модел (LLM) може да се похвали с много подобрения в сравнение с предшественика си (PaLM) и най-накрая може да е готов да се изправи срещу най-големия си съперник, GPT-4 на OpenAI.

Но колко подобрения направи Google? Дали PaLM 2 е причината за разликата, на която Google се надява да бъде, и което е по-важно, с толкова много подобни възможности, как PaLM 2 е различен от GPT-4 на OpenAI?

PaLM 2 срещу. GPT-4: Преглед на производителността

PaLM 2 е пълен с нови и подобрени възможности над своя предшественик. Едно от уникалните предимства, които PaLM 2 има пред GPT-4, е фактът, че се предлага в по-малки размери, специфични за определени приложения, които нямат толкова голяма процесорна мощност.

Всички тези различни размери имат свои собствени по-малки модели, наречени Gecko, Otter, Bison и Unicorn, като Gecko е най-малкият, следван от Otter, Bison и накрая Unicorn, най-големият модел.

Google също претендира за подобрение в възможностите за разсъждение спрямо GPT-4 в WinoGrande и DROP, като първият дърпа малка разлика в ARC-C. Въпреки това, има значително подобрение навсякъде, когато става въпрос за PaLM и SOTA.

PaLM 2 също е по-добър в математиката, според 91-страницата на Google PaLM 2 изследователска статия [PDF]. Въпреки това начинът, по който Google и OpenAI са структурирали своите резултати от тестовете, затруднява директното сравняване на двата модела. Google също пропусна някои сравнения, вероятно защото PaLM 2 не се представи почти толкова добре, колкото GPT-4.

В MMLU GPT-4 отбеляза 86,4, докато PaLM 2 отбеляза 81,2. Същото важи и за HellaSwag, където GPT-4 отбеляза 95.3, но PaLM 2 можеше да събере само 86.8 и ARC-E, където GPT-4 и PaLM 2 получиха 96.3 и 89.7, съответно.

Най-големият модел в семейството PaLM 2 е PaLM 2-L. Въпреки че не знаем точния му размер, знаем, че е значително по-малък от най-големия модел PaLM, но използва повече изчисления за обучение. Според Google, PaLM има 540 милиарда параметри, така че „значително по-малкият“ трябва да постави PaLM 2 някъде между 10 до 300 милиарда параметри. Имайте предвид, че тези числа са само предположения, базирани на казаното от Google в документа за PaLM 2.

Ако това число е някъде близо до 100 милиарда или под, PaLM 2 най-вероятно е по-малък по отношение на параметрите от GPT-3.5. Като се има предвид, че модел потенциално под 100 милиарда може да се справи с GPT-4 и дори да го победи при някои задачи е впечатляващо. GPT-3.5 първоначално издуха всичко от водата, включително PaLM, но PaLM 2 се възстанови доста добре.

Разлики в данните за обучение на GPT-4 и PaLM 2

Въпреки че Google не е разкрил размера на набора от данни за обучение на PaLM 2, компанията съобщава в своята изследователска статия, че наборът от данни за обучение на новия LLM е значително по-голям. OpenAI също възприе същия подход при разкриването на GPT-4, без да прави претенции относно размера на набора от данни за обучение.

Google обаче искаше да се съсредоточи върху по-задълбочено разбиране на математиката, логиката, разсъжденията и науката, което означава, че голяма част от данните за обучение на PaLM 2 са фокусирани върху гореспоменатите теми. Google казва в своята статия, че корпусът за предварително обучение на PaLM 2 е съставен от множество източници, включително уеб документи, книги, код, математика и разговорни данни, което му дава подобрения във всички области, поне в сравнение с PaLM.

Разговорните умения на PaLM 2 също трябва да са на друго ниво, като се има предвид, че моделът е бил обучен на над 100 езика, за да му осигурите по-добро контекстуално разбиране и по-добър превод възможности.

Що се отнася до данните за обучение на GPT-4, които са потвърдени, OpenAI ни каза, че е обучил модела, използвайки публично достъпни данни и данните, които е лицензирал. Страница за изследване на GPT-4 заявява, „Данните са набор от данни в уеб мащаб, включително правилни и неправилни решения на математически проблеми, слаби и силни разсъждения, противоречиви и последователни твърдения и представяне на голямо разнообразие от идеологии и идеи."

Когато на GPT-4 бъде зададен въпрос, той може да даде голямо разнообразие от отговори, не всички от които може да са подходящи за вашето запитване. За да го приведе в съответствие с намерението на потребителя, OpenAI прецизира поведението на модела, използвайки обучение за подсилване с човешка обратна връзка.

Въпреки че може да не знаем точните данни за обучение, върху които е бил обучен някой от тези модели, знаем, че намерението за обучение е било много различно. Ще трябва да изчакаме и да видим как тази разлика в намерението за обучение разграничава двата модела при внедряване в реалния свят.

PaLM 2 и GPT-4 чатботове и услуги

Първият портал за достъп до двата LLM-а използва съответните им чатботове, Bard на PaLM 2 и ChatGPT на GPT-4. Въпреки това, GPT-4 е зад платена стена с ChatGPT Plus, а безплатните потребители получават достъп само до GPT-3.5. Bard, от друга страна, е безплатен за всички и се предлага в 180 държави.

Това също не означава, че нямате безплатен достъп до GPT-4. Bing AI Chat на Microsoft използва GPT-4 и е напълно безплатен, отворен за всички и достъпен точно до Bing Search, най-големият конкурент на Google в пространството.

Google I/O 2023 беше изпълнен със съобщения за това как PaLM 2 и генериращата AI интеграция ще подобрят Google Workspace опит с функциите на AI, идващи в Google Документи, Таблици, Презентации, Gmail и почти всяка услуга, предлагана от гиганта за търсене. Освен това Google потвърди, че PaLM 2 вече е интегриран в над 25 продукта на Google, включително Android и YouTube.

За сравнение, Microsoft вече внедри AI функции в пакета от програми на Microsoft Office и много от своите услуги. В момента можете да изпитате и двата LLM в техните собствени версии на подобни предложения от две съперничещи си компании, които се изправят един срещу друг в битката за AI.

Въпреки това, тъй като GPT-4 излезе рано и внимаваше да избегне много от грешките, които Google направи с оригиналния Bard, той беше de facto LLM за разработчици на трети страни, стартиращи компании и почти всеки друг, който иска да включи способен AI модел в своята услуга, така че далеч. Ние имаме списък с GPT-4 приложения, ако искате да ги проверите.

Това не означава, че разработчиците няма да преминат към или поне да изпробват PaLM 2, но Google все още трябва да догонва OpenAI на този фронт. А фактът, че PaLM 2 е с отворен код, вместо да бъде заключен зад платен API, означава, че има потенциал да бъде по-широко възприет от GPT-4.

Може ли PaLM 2 да се справи с GPT-4?

PaLM 2 все още е много нов, така че отговорът дали може или не може да поеме GPT-4 остава да се отговори. Въпреки това, с всичко, което Google обещава, и агресивния начин, който реши да използва, за да го разпространи, изглежда, че PaLM 2 може да даде шанс на GPT-4 за парите си.

Въпреки това, GPT-4 все още е доста способен модел и, както споменахме по-горе, бие PaLM 2 в доста сравнения. Въпреки това множеството по-малки модели на PaLM 2 му дават неопровержимо предимство. Самият Gecko е толкова лек, че може да работи на мобилни устройства, дори когато е офлайн. Това означава, че PaLM 2 може да поддържа напълно различен клас продукти и устройства, които може да се затрудняват да използват GPT-4.

Надпреварата с изкуствен интелект се разгаря

С пускането на PaLM2, надпреварата за доминиране на AI се разгорещи, тъй като това може да е първият достоен противник, който ще се изправи срещу GPT-4. С по-нов мултимодален AI модел, наречен „Gemini“, който също се обучава, Google не показва никакви признаци на забавяне тук.