Големите езикови модели (LLM) са основната технология, която задвижи метеоритния възход на генеративните AI чатботове. Всички инструменти като ChatGPT, Google Bard и Bing Chat разчитат на LLM, за да генерират човешки отговори на вашите подкани и въпроси.

Но какво точно представляват LLM и как работят? Тук се заехме да демистифицираме LLM.

Какво представлява голям езиков модел?

Най-просто казано, LLM е масивна база данни от текстови данни, които могат да бъдат препратени, за да генерират човешки отговори на вашите подкани. Текстът идва от различни източници и може да възлиза на милиарди думи.

Сред често използваните източници на текстови данни са:

  • Литература: LLM често съдържат огромни количества съвременна и класическа литература. Това може да включва книги, поезия и пиеси.
  • Онлайн съдържание: LLM най-често ще съдържа голямо хранилище на онлайн съдържание, включително блогове, уеб съдържание, въпроси и отговори във форума и друг онлайн текст.
  • Новини и актуални събития: Някои, но не всички, LLM имат достъп до актуални новинарски теми. Някои LLM, като GPT-3.5, са ограничени в този смисъл.
    instagram viewer
  • Социална медия: Социалните медии представляват огромен ресурс от естествен език. LLM използват текст от големи платформи като Facebook, Twitter и Instagram.

Разбира се, наличието на огромна база данни от текст е едно нещо, но LLM трябва да бъдат обучени да осмислят това, за да произвеждат човешки отговори. Как става това е това, което разглеждаме по-нататък.

Как работят LLM?

Как LLM използват тези хранилища, за да създават своите отговори? Първата стъпка е да се анализират данните с помощта на процес, наречен дълбоко обучение.

Дълбокото обучение се използва за идентифициране на моделите и нюансите на човешкия език. Това включва придобиване на разбиране за граматика и синтаксис. Но важното е, че включва и контекст. Разбирането на контекста е важна част от LLM.

Нека да разгледаме пример за това как LLM могат да използват контекст.

Подканата в следното изображение споменава, че виждате прилеп през нощта. От това ChatGPT разбра, че говорим за животно, а не например за бейзболна бухалка. Разбира се, други чатботове харесват Bing Chat или Google Bard може да отговори на това съвсем различно.

Той обаче не е безпогрешен и както показва този пример, понякога ще трябва да предоставите допълнителна информация, за да получите желания отговор.

В този случай ние умишлено хвърлихме малко крива топка, за да демонстрираме колко лесно се губи контекст. Но хората също могат да разберат погрешно контекста на въпросите и се нуждае само от допълнителна подкана, за да коригира отговора.

За да генерират тези отговори, LLMs използват техника, наречена генериране на естествен език (NLG). Това включва изследване на входа и използване на моделите, научени от неговото хранилище на данни, за генериране на контекстуално правилен и подходящ отговор.

Но LLM отиват по-дълбоко от това. Те могат също така да приспособят отговорите, за да отговарят на емоционалния тон на входа. Когато се комбинират с разбиране на контекста, двата аспекта са основните двигатели, които позволяват на LLM да създават човешки отговори.

За да обобщим, LLMs използват масивна текстова база данни с комбинация от дълбоко обучение и NLG техники, за да създадат човешки отговори на вашите подкани. Но има ограничения за това какво може да се постигне.

Какви са ограниченията на LLM?

LLM представляват впечатляващо технологично постижение. Но технологията далеч не е съвършена и все още има много ограничения за това какво могат да постигнат. Някои от по-забележителните от тях са изброени по-долу:

  1. Контекстуално разбиране: Споменахме това като нещо, което LLM включват в своите отговори. Въпреки това, те не винаги го разбират правилно и често не могат да разберат контекста, което води до неподходящи или просто грешни отговори.
  2. Пристрастия: Всякакви отклонения, присъстващи в данните за обучението, често могат да присъстват в отговорите. Това включва пристрастия към пол, раса, география и култура.
  3. здрав разум: Здравият разум е трудно да се определи количествено, но хората се учат на това от ранна възраст, просто като наблюдават света около себе си. LLM нямат този присъщ опит, на който да се връщат. Те разбират само това, което им е предоставено чрез техните данни за обучение, и това не им дава истинска представа за света, в който съществуват.
  4. LLM е толкова добър, колкото и неговите данни за обучение: Точността никога не може да бъде гарантирана. Старата компютърна поговорка „Боклук вътре, боклук вън“ обобщава това ограничение перфектно. LLM са толкова добри, колкото им позволяват качеството и количеството на техните данни за обучение.

Има също аргумент, че етичните съображения могат да се считат за ограничение на LLM, но тази тема попада извън обхвата на тази статия.

3 примера за популярни LLM

Продължаващото развитие на изкуствения интелект вече е до голяма степен подкрепено от LLMs. Така че, макар да не са съвсем нова технология, те със сигурност са достигнали точка на критична инерция и вече има много модели.

Ето някои от най-широко използваните LLMs.

1. GPT

Generative Pre-trained Transformer (GPT) е може би най-известният LLM. GPT-3.5 захранва платформата ChatGPT, използвана за примерите в тази статия, докато най-новата версия, GPT-4, е налична чрез абонамент за ChatGPT Plus. Microsoft също използва най-новата версия в своята платформа Bing Chat.

2. LaMDA

Това е първоначалният LLM, използван от Google Bard, AI chatbot на Google. Версията, с която Bard първоначално беше пусната, беше описана като „олекотена“ версия на LLM. По-мощната PaLM итерация на LLM замести това.

3. БЕРТ

BERT означава двупосочно представяне на енкодер от трансформатори. Двупосочните характеристики на модела се различават BERT от други LLM като GPT.

Разработени са много повече LLMs и разклоненията са често срещани от основните LLMs. Докато се развиват, те ще продължат да растат по сложност, точност и уместност. Но какво крие бъдещето за LLM?

Бъдещето на LLM

Те несъмнено ще оформят начина, по който взаимодействаме с технологиите в бъдеще. Бързото навлизане на модели като ChatGPT и Bing Chat е свидетелство за този факт. В краткосрочен план, AI едва ли ще ви замени на работа. Но все още има несигурност относно това колко голяма роля в живота ни те ще играят в бъдеще.

Етичните аргументи все още могат да имат думата в начина, по който интегрираме тези инструменти в обществото. Въпреки това, оставяйки това настрана, някои от очакваните разработки на LLM включват:

  1. Подобрена ефективност: С LLMs, включващи стотици милиони параметри, те са невероятно гладни за ресурси. С подобрения в хардуера и алгоритмите, те вероятно ще станат по-енергийно ефективни. Това също ще ускори времето за реакция.
  2. Подобрена контекстуална осведоменост:LLM се самообучават; колкото повече използване и обратна връзка получават, толкова по-добри стават. Важното е, че това е без допълнително сериозно инженерство. С напредването на технологиите това ще доведе до подобрения в езиковите способности и контекстната осведоменост.
  3. Обучени за специфични задачи: Инструментите за майстор на всички, които са публичното лице на LLMs, са склонни към грешки. Но докато се развиват и потребителите ги обучават за специфични нужди, LLM могат да играят голяма роля в области като медицина, право, финанси и образование.
  4. По-голяма интеграция: LLM могат да станат лични дигитални асистенти. Помислете за Siri на стероиди и ще схванете идеята. LLM могат да се превърнат във виртуални асистенти, които ви помагат с всичко - от предлагане на храна до работа с вашата кореспонденция.

Това са само няколко от областите, в които LLM има вероятност да станат по-голяма част от начина, по който живеем.

LLMs Трансформиране и обучение

LLM отварят един вълнуващ свят от възможности. Бързият възход на чатботове като ChatGPT, Bing Chat и Google Bard е доказателство за ресурсите, които се изливат в полето.

Подобно разпространение на ресурси може само да доведе до това, че тези инструменти стават по-мощни, гъвкави и точни. Потенциалните приложения на такива инструменти са огромни и в момента ние само надраскваме повърхността на един невероятен нов ресурс.