ChatGPT е променящият играта AI чатбот на OpenAI, който държи интернет изумен. Срещу всички установени технологични тенденции, не отне много време на ChatGPT да намери своя път в почти всяка област от нашия дигитален живот.
Много малко технологични иновации са привлекли толкова голям интерес, колкото ChatGPT е постигнал за толкова кратко време. Изглежда никога не се изчерпват страхотните трикове – всеки ден научаваме за вълнуващи нови неща, които не сме подозирали, че може да прави.
Но как ChatGPT може да прави нещата, които може? Как работи ChatGPT?
Как беше създаден ChatGPT?
За да разберете как работи ChatGPT, струва си да разгледате неговия произход и мозъка зад най-модерния чатбот с изкуствен интелект.
Първо, колкото и вълшебен да изглежда ChatGPT, той е създаден от човешкия гений, точно както всяка софтуерна технология, която си заслужава вниманието. OpenAI създаде ChatGPT, революционната компания за изследване и развитие на AI, която стои зад други мощни AI инструменти като DALL-E, InstructGPT и Codex. Ние вече отговорихме
някои въпроси, които може да имате относно ChatGPT, така че погледнете.Въпреки че ChatGPT стана вирусен към края на 2022 г., повечето от основните технологии, които захранват ChatGPT, съществуват от много по-дълго време, макар и с много по-малко публичност. Моделът ChatGPT е изграден върху GPT-3 (или по-конкретно GPT-3.5). GPT означава „генеративен предварително обучен трансформатор 3“.
GPT-3 е третата итерация на линията GPT от AI модели и беше предшествана от GPT-2 и GPT. По-ранните итерации на GPT моделите са еднакво полезни, но GPT-3 и фино настроената GPT-3.5 итерация са много по-мощни. Повечето от това, което ChatGPT може да направи се дължи на основната технология GPT-3.
Какво е GPT?
Така че установихме, че ChatGPT е изграден върху третото поколение на модела GPT. Но какво все пак е GPT?
Нека започнем с разопаковането на акронимите по лесен за смилане и нетехнически начин.
- „Генеративният“ в GPT представлява способността му да генерира текст на естествен човешки език.
- „Предварително обучен“ представлява фактът, че моделът вече е обучен върху някакъв краен набор от данни. Подобно на това, че бихте прочели книга или може би няколко книги, преди да бъдете помолени да отговорите на въпроси за това.
- „Трансформаторът“ представлява основната архитектура за машинно обучение, която захранва GPT.
Сега, събирайки всичко заедно, Generative Pre-trained Transformer (GPT) е езиков модел, който е обучен да използва данни от интернет с цел генериране на текст на човешки език, когато се представя с a подкана. И така, многократно сме казвали, че GPT е бил обучен, но как е бил обучен?
Как беше обучен ChatGPT?
Самият ChatGPT не е обучен от самото начало. Вместо това, това е фино настроена версия на GPT-3.5, която сама по себе си е фино настроена версия на GPT-3. Моделът GPT-3 беше обучен с огромно количество данни, събрани от интернет. Помислете за Wikipedia, Twitter и Reddit – те бяха захранвани с данни и човешки текст, изтрити от всички краища на интернет.
Ако се чудите как работи GPT обучението, GPT-3 е обучен с помощта на комбинация от контролирано обучение и обучение с подсилване чрез човешка обратна връзка (RLHF). Наблюдаваното обучение е етапът, в който моделът се обучава върху голям набор от данни от текст, извлечен от интернет. Етапът на обучение за подсилване е мястото, където се обучава да произвежда по-добри отговори, които са в съответствие с това, което хората биха приели като едновременно човешки и правилни.
Обучение с контролирано обучение
За да разберете по-добре как контролираното и засилващото обучение се прилага към ChatGPT, представете си сценарий, при който ученик се учи да пише есе от учител. Наблюдаваното обучение би било еквивалентно на това учителят да даде на ученика стотици есета за четене. Целта тук е ученикът да научи как трябва да бъде написано едно есе, като свикне с тона, речника и структурата на стотици есета.
Въпреки това сред тези стотици есета ще има добри и лоши. Тъй като ученикът е бил обучаван както на добри, така и на лоши копия, понякога ученикът може да напише лошо есе, защото в даден момент ученикът също е бил хранен с лоши есета. Това означава, че когато бъде помолен да напише есе, ученикът може да напише копие, което не е приемливо или достатъчно добро за учителя. Това е мястото, където се намесва обучението с подсилване.
Обучение със засилващо обучение
След като учителят установи, че ученикът разбира общите правила за писане на есе, като прочете стотици есета, учителят ще дава на ученика често домашно за писане на есе. Впоследствие учителят ще предостави обратна връзка за домашното за писане на есе, като каже на учениците какво са направили добре и какво могат да подобрят. Ученикът използва обратната връзка, за да ръководи последващата домашна работа за писане на есе, като помага на ученика да се подобри с времето.
Това е подобно на етапа на обучение за укрепване на обучението на GPT модела. След като получи огромно количество текст, изтрит от интернет, моделът може да отговаря на въпроси. Неговата точност обаче няма да е достатъчно добра. Човешките обучители задават въпрос на модела и предоставят обратна връзка кой отговор е по-подходящ за всеки въпрос.
Моделът използва обратна връзка, за да подобри способността си да отговаря на въпроси по-точно и по-скоро като човек, който би отговорил. Ето как ChatGPT може да генерира човешки звучащи отговори, които са съгласувани, ангажиращи и като цяло точни.
Как ChatGPT може да отговаря на въпроси?
И така, вие посещавате уебсайта на ChatGPT и влизате. Вие подканвате ChatGPT: "напишете рап песен в стила на Snoop Dogg." Той отговаря с текст на рап песен, която изглежда поразително подобна на това, което Snoop Dogg би написал. Как е възможно?
Е, „магията“ зад ChatGPT е пряко свързана с неговото обучение.
След като покриете всеки инч от вашия учебник по Физика 101, има голям шанс да можете да отговорите на всеки въпрос от него, който ви бъде зададен. Защо? Защото сте го прочели и сте го научили. Същото е и с ChatGPT – той учи. И както е показала човешката цивилизация, с достатъчно обучение е възможно решаването на почти всеки проблем.
Въпреки че вероятно можете да управлявате стотици книги през живота си, ChatGPT или GPT вече са погълнали огромна част от интернет. Това е огромно количество информация. Там някъде вероятно има текстове на многобройните песни на Snoop Dogg. Така че, разбира се, ChatGPT трябва да го е използвал (не забравяйте, че е предварително обучен) и да е разпознал модели в текстовете на Snoop Dogg. След това ще използва „знание“ за този модел, за да „предскаже“ текст на песен, подобна на това, което Snoop Dogg би написал.
Акцентът тук е върху „предсказване“. ChatGPT не отговаря на въпроси по същия начин, по който го правим като хората. Например, когато се сблъскате с въпрос като "Коя е столицата на Португалия?" можете да кажете Лисабон и да го кажете за „факт“. ChatGPT обаче не отговаря на въпроси със 100% сигурност. Вместо това, той се опитва да предвиди правилния отговор, като се имат предвид данните, които е използвал в своя набор от данни за обучение.
Подходът на ChatGPT за отговаряне на въпроси
За да разберете по-добре концепцията за предсказване на отговорите, представете си ChatGPT като детектив, натоварен с разрешаването на убийство. На детектива са представени доказателства, но те не знаят кой е извършил убийството и как се е случило. Въпреки това, с достатъчно доказателства, детективът може да "предскаже" с голяма точност кой е отговорен за убийството и как е извършено престъплението.
След като консумира данни от интернет, ChatGPT изхвърля оригиналните данни и съхранява невронни връзки или модели, които е научил от данните. Тези връзки или модели са като доказателства, които ChatGPT анализира, когато се опитва да отговори на подкана.
Така че на теория ChatGPT е като много добър детектив. Не знае със сигурност какви трябва да бъдат фактите на отговора, но се опитва, с впечатляващо точност, за да се предвиди логическа последователност от текст на човешки език, която най-подходящо би отговорила на въпрос. Така получавате отговори на вашите въпроси.
Ето защо някои от тези отговори изглеждат много убедителни, но са ужасно погрешни.
ChatGPT: Отговаря като човек, мисли като машина
Основните технически детайли на ChatGPT са сложни. Въпреки това, от елементарна гледна точка, той работи, като учи и възпроизвежда това, което е научил, когато бъде подканен, точно както правим ние като хора.
Тъй като ChatGPT се развива чрез изследвания, начинът, по който работи, може да се промени. Неговите основни принципи на работа обаче ще останат същите за известно време, поне докато не се появи нова разрушителна технология.