По-ново е, но по-бавно. Какво дава?
С най-новата версия на ChatGPT, GPT-4, пусната през март 2023 г., мнозина сега се чудят защо е толкова бавна в сравнение с предшественика си, GPT-3.5. И така, каква е основната причина тук?
Защо ChatGPT-4 е толкова бавен и трябва ли вместо това да се придържате към GPT-3.5?
Какво е ChatGPT-4?
ChatGPT-4 е най-новият модел на Чатботът на OpenAI, известен най-общо като ChatGPT. ChatGPT се захранва от изкуствен интелект, което му позволява да отговаря на вашите въпроси и подкани много по-добре от предишните чатботове. ChatGPT използва голям езиков модел, захранван от GPT (Generative Pre-trained Transformer), за да предостави информация и съдържание на потребителите, като същевременно може да разговаря.
ChatGPT има широк набор от възможности, което го прави полезен за милиони. Например, ChatGPT може да пише истории, да формулира вицове, да превежда текст, да образова потребителите и много други. Докато ChatGPT може да се използва и за по-незаконни действия, като напр създаване на зловреден софтуер, неговата гъвкавост е донякъде революционна.
GPT-4 моделът на ChatGPT беше пуснат на 14 март 2023 г. Тази версия на ChatGPT е предназначена да разбира по-добре емоционалния език чрез текст, като същевременно разбира по-добре различни езикови диалекти и обработка на изображения. GPT-4 може също да поддържа по-дълги разговори и ефективно да отговаря на по-дълги потребителски подкани.
Освен това параметрите на GPT-4 надвишават в голяма степен тези на GPT-3.5. Параметрите на ChatGPT определят как AI обработва и реагира на информация. Накратко, параметрите определят умението, което чатботът трябва да взаимодейства с потребителите. Докато GPT-3.5 има 175 милиарда параметри, GPT-4 има невероятните 100 трилиона до 170 трилиона (слухове - OpenAI не е потвърдил тази цифра).
GPT-3.5 на OpenAI беше използван за захранване на ChatGPT, който сега е най-популярният AI chatbot в света. И така, GPT-3.5 направи неоспорим белег в областта на AI. Но нещата винаги напредват в технологичната индустрия, така че не е изненада, че GPT-3.5 вече има наследник в GPT-4.
GPT-4 обаче в никакъв случай не е идеален. Всъщност дългите времена за реакция на GPT-4 предизвикват голямо вълнение. Така че нека разгледаме този проблем и защо може да се случи.
ChatGPT-4 е бавен
Мнозина забелязаха при пускането на GPT-4, че новият чатбот на OpenAI е невероятно бавен. Това остави множество потребители разочаровани, тъй като GPT-4 трябваше да бъде стъпка напред спрямо GPT-3.5, а не назад. В резултат на това потребителите на GPT-4 се обръщат към онлайн платформи, като Reddit и общностния съвет на OpenAI, за да обсъдят проблема.
На Форум на общността на OpenAI, редица потребители излязоха с разочарованието си от забавянето на GPT-4. Един потребител заяви, че GPT-4 е „изключително бавен“ от тяхна страна и че дори малки заявки, направени към чатбота, водят до необичайно дълги забавяния от над 30 секунди.
Други потребители побързаха да споделят своя опит с GPT-4, като един коментира под публикацията, че „едно и също обаждане със същите данни може да отнеме до 4 пъти по-бавно от 3,5 турбо“.
В друг Публикация във форума на общността на OpenAI, потребител коментира, че техните подкани понякога се посрещат с "грешка в потока на тялото" съобщение, което не води до отговор. В същата тема друг човек заяви, че не може да накара GPT-4 да „отговори успешно с пълен скрипт." Друг потребител коментира, че продължава да се натъква на мрежови грешки, докато се опитва да използва GPT-4.
Със закъснения и неуспешни или полуизпечени отговори, изглежда, че GPT-4 е пълен с проблеми, които бързо отблъскват потребителите.
И така, защо точно се случва това? Има ли нещо нередно с GPT-4?
Защо GPT-4 е бавен в сравнение с GPT-3.5?
В публикацията във форума на общността на OpenAI, посочена по-горе, един потребител отговори, предполагайки, че забавянето се дължи на „настоящ проблем с цялата инфраструктура претоварване", добавяйки, че има предизвикателство в "справянето с мащабируемостта за толкова кратък период от време с тази популярност и брой потребители на чат и API."
В Публикация в Reddit качен в r/singularity subreddit, потребител изложи няколко възможни причини за бавността на GPT-4, започвайки с по-голям размер на контекста. В рамките на GPT екосистемата размерът на контекста се отнася до това колко информация дадена версия на чатбот може да обработи и след това да произведе информация. Докато размерът на контекста на GPT-3.5 беше 4K, този на GPT-4 е двойно по-голям. Така че наличието на размер на контекста 8K може да окаже влияние върху общите скорости на GPT-4.
Авторът на Reddit също така предположи, че подобреното управление и контрол на GPT-4 може да играе роля във времето за обработка на чатбота. Тук авторът заявява, че по-голямата управляемост и контрол на халюцинациите и неподходящото на GPT-4 език може да са виновниците, тъй като тези функции добавят допълнителни стъпки към метода на обработка на GPT-4 информация.
Освен това се предполага, че способността на GPT-4 да обработва снимки може да забавя нещата. Тази полезна функция е обичана от мнозина, но може да дойде с уловка. Като се има предвид, че се говори, че GPT-4 отнема 10-20 секунди за обработка на предоставено изображение, има шанс този компонент удължава времето за реакция (въпреки че това не обяснява закъсненията, изпитвани от потребителите, предоставящи само текстови подкани).
Други потребители предполагат, че новостта на ChatGPT-4 играе голяма роля в тези забавяния. С други думи, някои смятат, че най-новият чатбот на OpenAI трябва да преживее някои нарастващи проблеми, преди всички недостатъци да бъдат изгладени.
Но най-голямата причина GPT-4 да е бавен е броят на параметрите, които GPT-4 може да извика спрямо GPT-3.5. The феноменалното покачване на параметрите просто означава, че на по-новия GPT модел отнема повече време, за да обработи информация и да отговори точно. Получавате по-добри отговори с повишена сложност, но достигането им отнема малко повече време.
Трябва ли да изберете GPT-3.5 пред GPT-4?
Така че, имайки предвид тези проблеми, трябва ли да използвате GPT-3.5 или GPT-4?
Към момента на писане изглежда, че GPT-3.5 е по-бързата опция пред GPT-4. Толкова много потребители са имали закъснения, че вероятно проблемът с времето е налице навсякъде, а не само при няколко индивида. Така че, ако ChatGPT-3.5 в момента отговаря на всичките ви очаквания и не искате да чакате отговор в замяна на допълнителни функции, може би е разумно да се придържате към тази версия засега.
Все пак трябва да имате предвид, че GPT-4 не е просто GPT-3.5, но е по-бавен. Тази версия на чатбота на OpenAI има множество предимства пред своя предшественик. Ако търсите по-усъвършенстван AI chatbot и нямате нищо против да чакате по-дълго за отговори, може да си струва да преминете от GPT-3.5 към GPT-4.
С течение на времето забавянията на GPT-4 може да бъдат намалени или напълно разрешени, така че търпението може да бъде добродетел тук. Независимо дали опитате да преминете към GPT-4 сега или изчакате още малко, за да видите как ще се развият нещата с тази версия, все още можете да извлечете много от изящния малък чатбот на OpenAI.
GPT-4 е по-напреднал, но идва със закъснение
Докато GPT-4 има многобройни разширени възможности спрямо GPT-3.5, неговите значителни забавяния и грешки в отговора го правят неизползваем за някои. Тези проблеми може да бъдат разрешени в близко бъдеще, но засега GPT-4 със сигурност има някои пречки за преодоляване, преди да бъде приет в по-широк мащаб.