Големите езикови модели (LLM) се предлагат във всякакви форми и размери и ще ви помогнат по какъвто начин сметнете за подходящ. Но кое е най-доброто? Тестваме доминиращите AI от Alphabet, OpenAI и Meta.
Какво трябва да знаете за AI Chatbots
Изкуственият общ интелект е цел на компютърните учени от десетилетия, а AI служи като опора за писатели на научна фантастика и режисьори още по-дълго.
AGI проявява интелигентност, подобна на човешките когнитивни способности, и тестът на Тюринг— тест за способността на машината да проявява интелигентно поведение, неразличимо от това на човека — остана почти безспорен през седемте десетилетия, откакто беше представен за първи път.
Неотдавнашното сближаване на изключително широкомащабни изчисления, огромни количества пари и удивителния обем информация свободно налични в отворения интернет, позволяват на технологичните гиганти да обучават модели, които могат да предскажат следващата секция от думи или токен в поредица от токени.
Към момента на писане и двете
Бардът на Google и ChatGPT на OpenAI са достъпни за използване и тестване чрез техните уеб интерфейси.Езиковият модел на Meta, LLaMa, не е достъпен в мрежата, но можете лесно изтеглете и стартирайте LLaMa на вашия собствен хардуер и го използвайте чрез команден ред или стартирайте Dalai на собствената си машина— едно от няколко приложения с удобен за потребителя интерфейс.
За целите на теста ще използваме модела Alpaca 7B на Станфордския университет – адаптация на LLaMa – и ще го сравним с Bard и ChatGPT.
Следващите сравнения и тестове не са предназначени да бъдат изчерпателни, а по-скоро ви дават индикация за ключови точки и възможности.
Кой е най-лесният за използване голям езиков модел?
И Bard, и ChatGPT изискват акаунт, за да използват услугата. Акаунтите в Google и OpenAI се създават лесно и безплатно и можете веднага да започнете да задавате въпроси.
Въпреки това, за да стартирате LLaMa локално, ще трябва да имате някои специализирани познания или способността да следвате урок. Ще ви трябва и значително количество място за съхранение.
Кой е най-частният голям езиков модел?
И Bard, и ChatGPT имат обширни политики за поверителност и Google многократно подчертава в своите документи че не трябва да включвате информация, която може да се използва за идентифициране на вас или други във вашия Bard разговори."
По подразбиране Google събира вашите разговори и общото ви местоположение въз основа на вашия IP адрес, вашите отзиви и информация за употреба. Тази информация се съхранява във вашия акаунт в Google до 18 месеца. Въпреки че можете да поставите на пауза запазването на активността си в Bard, трябва да сте наясно, че „за да помогнем с качеството и да подобрим нашите продукти, рецензентите четат, поясняват и обработват вашите разговори в Bard“.
Използването на Bard също е предмет на стандарта Правила за поверителност на Google.
Политиката за поверителност на OpenAI е до голяма степен подобна и събира данни за IP адрес и използване. За разлика от ограниченото във времето задържане на Google, OpenAI ще „запази вашата лична информация само толкова дълго, колкото ни е необходимо, за да предоставим нашите Услуга за вас или за други законни бизнес цели, като разрешаване на спорове, съображения за безопасност и сигурност или спазване на нашите правни задължения."
За разлика от това, локалният модел на вашата собствена машина не изисква акаунт или споделяне на потребителски данни с никого.
Кой LLM има най-добри общи познания?
За да проверим кой LLM има най-добри общи познания, зададохме три въпроса.
Първият въпрос "Кой национален флаг има пет страни?" беше правилно отговорено само от Bard, което идентифицира националното знаме на Непал като петстранно.
ChatGPT уверено твърди, че „Няма национално знаме, което да има пет страни. Националните знамена обикновено са с правоъгълна или квадратна форма, характеризиращи се със своите различни цветове, шарки и символи".
Нашият местен модел се доближи, заявявайки, че „Индийското национално знаме има пет страни и е проектирано през 1916 г., за да представлява Индия движение за независимост." Въпреки че това знаме наистина съществуваше и имаше пет страни, това беше знамето на Движението за самоуправление на Индия - не национален флаг.
Нито един от нашите модели не можа да отговори, че правилният термин за обект с форма на грахово зърно е "pisiform", с ChatGPT доколкото предполага, че грахът има „триизмерна геометрична форма, която е идеално кръгла и симетричен."
И трите чатбота правилно идентифицираха Франко Малерба като италиански астронавт и член на Европейският парламент, като Бард дава отговор, формулиран идентичен с раздел от Уикипедия на Малерба влизане.
Коя LLM е добра за технически инструкции?
Когато имате технически проблеми, може да се изкушите да се обърнете към чатбот за помощ. Докато технологиите напредват, някои неща остават същите. Електрическият щепсел BS 1363 се използва във Великобритания, Ирландия и много други страни от 1947 г. Попитахме езиковите модели как правилно да го свържем.
Кабелите, свързани към щепсела, имат проводник под напрежение (кафяв), заземителен проводник (жълт/зелен) и неутрален проводник (син). Те трябва да бъдат прикрепени към правилните клеми в корпуса на щепсела.
Нашата реализация на Dalai правилно идентифицира щепсела като "английски стил", след което се отклони от курса и вместо това даде инструкции за по-стария щепсел с кръгъл щифт BS 546 заедно с по-стари цветове на окабеляването.
ChatGPT беше малко по-полезен. Той правилно етикетира цветовете на окабеляването и даде списък с материали и набор от осем инструкции. ChatGPT също предложи да поставите кафявата жица в терминала с надпис "L", синият проводник в "N" клема и жълтия проводник в "E." Това би било правилно, ако терминалите BS1363 бяха етикетирани, но те не са.
Бард идентифицира правилните цветове за проводниците и ни инструктира да ги свържем към живи, неутрални и земни клеми. Не дава инструкции как да ги идентифицирате.
Според нас. нито един от чатботовете не даде достатъчно инструкции, за да помогне на някого да свърже правилно електрически щепсел BS 1363. Кратък и правилен отговор би бил: „Синьо отляво, кафяво отдясно“.
Кой LLM е добър за писане на код?
Python е полезен език за програмиране който работи на повечето съвременни платформи. Ние инструктирахме нашите модели да използват Python и „Създайте основна програма за калкулатор, която може да извършва аритметични операции като събиране, изваждане, умножение и деление. Трябва да приеме потребителски вход и да покаже резултата." Това е един от най-добрите проекти за програмиране за начинаещи.
Въпреки че и Bard, и ChatGPT незабавно върнаха използваем и подробно коментиран код, който успяхме да тестваме и проверим, нито един код от нашия локален модел нямаше да се изпълнява.
Кой LLM разказва най-добрите вицове?
Хуморът е една от основите на това да бъдеш човек и със сигурност един от най-добрите начини да разграничиш човека от машината. На всеки от нашите модели дадохме простата подкана: „Създайте оригинална и забавна шега“.
За щастие на комедиантите навсякъде и на човешката раса като цяло, нито един от моделите не беше способен да генерира оригинална шега.
Бард представи класиката: „Защо плашилото спечели награда? Той беше изключителен в своята област".
Както нашата локална реализация, така и ChatGPT предложиха достойното за стон: „Защо учените не вярват на атомите? Защото те измислят всичко!"
Производна, но оригинална шега би била: „Как големите езикови модели са като атомите? И двамата си измислят неща!"
Първо го прочетете тук, хора.
Нито един чатбот не е идеален
Установихме, че въпреки че и трите големи езикови модела имат своите предимства и недостатъци, никой от тях не може да замени истинските експертни познания на едно човешко същество със специализирани знания.
Докато Bard и ChatGPT дадоха по-добри отговори на нашия въпрос за кодиране и са много лесни за използване, стартирането на голям езиков модел локално означава, че не е нужно да се притеснявате за поверителността или цензура.
Ако искате да създадете страхотно AI изкуство, без да се притеснявате, че някой ви гледа през рамо, лесно е да стартирате арт AI модел и на вашата локална машина.