Какъв е лимитът на токените ChatGPT и можете ли да го надвишите?

ChatGPT превзе технологичния свят като буря и няма недостиг на подобрения и актуализации. Но въпреки използването на напреднала технология, има доста ограничаващи фактори в текущата версия.

Един такъв фактор е системата с токени, която продължава да нарушава цикъла на еволюция, поставяйки полезността на приложението на колене. Ако използвате ChatGPT, може да искате да знаете за токените на ChatGPT и какво да правите, когато токените ви свършат.

Нека да направим крачка назад и да ви дадем представа за всичко, което трябва да знаете за основните работни механизми на приложението.

Какво е ChatGPT токен?

Ако преминете през фасадата на приложението, всичко, което виждате, е компютърен език, който се подчинява на вашите команди и ви дава отговорите, които търсите. Обаче бекендът е просто много код, който се учи всяка минута и навлиза в крак с въпросите, на които отговаря.

ChatGPT преобразува всяка дума в четлив знак, когато зададете въпрос. За да го разбием по-нататък, токените са текстови фрагменти и всеки език за програмиране използва различен набор от стойности на токени, за да разбере изискванията.

Тъй като компютрите не разбират текстовите стойности директно, те ги разделят на комбинация от числа, често наричани вграждания. Можете дори да обмислите вграждания като Списъци на Python, които приличат на списък от свързани числа, като [1.1,2.1,3.1,4.1…n].

След като ChatGPT вземе първоначалния вход, той се опитва да предвиди следващия възможен вход въз основа на предишната информация. Той избира целия списък от предишни токени и, използвайки своя синтез на кодиране, се опитва да изпревари последващото въвеждане от потребителя. Той използва и предвижда токен по един, за да улесни езика да разбере употребата.

За да подобри прогнозите и да подобри точността, той събира целия списък с вграждания и го прекарва през трансформиращи слоеве, за да установи асоциации между думите. Например, когато зададете въпрос като „Кой е Томас Едисън?“, ChatGPT избира най-ценните думи в списъка: СЗО и Едисън.

Трансформаторните слоеве играят своята роля в целия процес. Тези слоеве са форма на архитектура на невронна мрежа, обучена да избира най-подходящите ключови думи от низ от думи. Процесът на обучение обаче не е толкова прост, колкото звучи, тъй като отнема много време за обучение на трансформаторни слоеве върху гигабайти данни.

Въпреки че ChatGPT предвижда само един токен наведнъж, неговата авторегресивна технология е програмирана да предсказва и да се връща обратно в основния модел, за да освободи изхода. Моделът е настроен да работи само веднъж за всеки токен, така че резултатът се отпечатва една дума наведнъж. Изходът спира автоматично, когато приложението срещне команда за токен за спиране.

Например, ако погледнете калкулатора на токени на уебсайта ChatGPT, можете да изчислите използването на токени въз основа на вашите въпроси.

Нека въведем примерен текст, като например:

Как да обясня използването на токени в ChatGPT?

Според калкулатора в този низ има 46 знака, които ще консумират 13 токена. Ако го разделите на идентификатори на токени, изглежда по следния начин:

[2437, 466, 314, 4727, 262, 779, 286, 16326, 287, 24101, 38, 11571, 30]

Според OpenAI токен калкулатор:

Полезно основно правило е, че един токен обикновено съответства на ~4 знака от текста за общ английски текст. Това означава приблизително ¾ от дума (така че 100 токена ~= 75 думи).

Безплатно срещу. Платени токени

За да ви даде представа какво има какво в приложението ChatGPT, OpenAI ви предлага безплатен ограничен абонамент за токени. Ако искате да експериментирате с API на ChatGPT, използвайте безплатния кредит от $5, който е валиден за три месеца. След като лимитът бъде изчерпан (или пробният период изтече), можете да плащате в момента, в който отивате, което увеличава максималната квота до $120.

ChatGPT Plus: Заслужава ли си платеният абонамент?

За да го повишите, можете дори да се регистрирате за Оферта ChatGPT Plus, което ви връща с $20 на месец. Като се има предвид широкото използване и популярност на целия AI модел, ето основните характеристики на платения абонаментен модел:

• Достъп до ChatGPT, дори когато уебсайтът е прекъснат поради наплив от потребители
• Подобрени нива на отговор
• Достъп от първа ръка до нови функции и версии

Ако смятате, че тези функции си заслужават напълно и са на ниво, можете да се запишете за платения абонамент и да се възползвате от тях веднага.

Ценова структура на ChatGPT токени

Налични са няколко различни модела приложения, които можете да изберете според вашите изисквания:

Ada е най-бързият, докато DaVinci е най-мощният модел от този списък с модели. Подканата е въпросът, докато завършването се занимава с отговорите.

Максимални лимити за токени

Всеки модел ви позволява да зададете максималния брой токени във всяка заявка. Този метод контролира максималния брой жетони, които приложението генерира в едно извикване, ограничавайки изхода. Функцията max_token е доста полезна, особено когато искате да контролирате дължината на изхода си, като същевременно избягвате прекомерното използване на вашето токен и кредити. Дължината по подразбиране е фиксирана на 2048 токена, докато максималната може да бъде зададена на 4096 токена.

Ограничаването на използването на токена може да доведе до кратки отговори, което може да ограничи изхода и да помрачи изживяването ви при използване.

ChatGPT3 има горна граница от 4096; обаче, с въвеждането на ChatGPT4, лимитите на токените се увеличават, както следва:

Ако вашият изход е съкратен, трябва да увеличите посочения максимален лимит от таблото си за управление. Не забравяйте, че сборът от вашите подкани и максималните токени винаги трябва да бъде по-малък от равен на максималния лимит на токените на модела.

Например в рамките на модела ChatGPT, prompt_tokens + max_tokens <= 4096 токени.

Научете се да контролирате своите ChatGPT подкани за най-добри резултати

Без значение как използвате управляваното от изкуствен интелект приложение, шансовете са, че ще трябва да измислите начини да играете интелигентно с вашите въпроси и фрази. В зависимост от вашите модели на използване, вероятно ще използвате широко ChatGPT за всяка задача.

За да получите най-добри резултати, трябва да научите как да работите с методологията на токена и да подобрите уменията си, за да сте сигурни, че ограниченията ви за използване остават непокътнати, като същевременно ви дават възможно най-добрите отговори.