Има много налични чатботове, задвижвани от AI, но кой използва най-добрия LLM? Ето как можете да сравните LLM, за да разберете кой е най-добрият.
С няколко чатбота, достъпни онлайн, може да стане изключително трудно да изберете този, който отговаря на вашите нужди. Въпреки че можете да сравните всеки два чатбота ръчно, това ще отнеме значително време и усилия.
По-добър и по-прост начин е да използвате Chatbot Arena, за да сравнявате различните LLMs, които захранват популярните chatbots. Той предлага няколко режима за сравняване на различните модели, които обясняваме по-долу.
Какво е Chatbot Arena?
Създадена от LMSYS Org, Chatbot Arena е платформа за сравнение на различни LLMs. Той използва системата Elo Rating за класиране на различните модели.
Chatbot Arena предлага няколко начина за потребителите да сравняват и оценяват LLM. Въз основа на изпратената обратна връзка, Chatbot Arena класира различните LLM в публичната класация. Проектът е спонсориран от HuggingFace, алтернатива с отворен код на ChatGPT.
Как да сравните анонимни LLM с Chatbot Arena
Бойният режим на Chatbot Arena ви позволява да сравнявате LLM анонимно. Например можете сравнете ChatGPT (GPT 3.5) и Claude. Това означава, че самата Chatbot Arena избира всеки два езикови модела и без да разкрива имената им, ви позволява да ги сравните.
Докато въвеждате първата подкана, Chatbot Arena извлича отговорите от двата модела, като ги представя един до друг. Платформата ви позволява да генерирате повторно отговори (и за двата LLM) и да изчистите историята, за да започнете различен разговор. Можете да продължите да задавате още въпроси, докато не изберете ясен победител.
След това можете да изберете дали модел A е по-добър или B. При избирането на победителя Chatbot Arena разкрива имената и на двата бота. Този режим работи чудесно, тъй като вашето решение не се влияе от предишното ви възприятие или популярност на моделите. Chatbot Arena също ви позволява да регулирате параметри като температура, Top P и максимални изходни жетони.
Как да сравните избрани LLM с Chatbot Arena
Ако искате да сравните два конкретни LLM, можете да превключите към паралелния режим на Chatbot Arena. Освен факта, че можете сами да избирате LLM, този режим работи почти по същия начин като режима на битка. Можете да коригирате параметри, да генерирате повторно отговори, да изчистите историята и да изберете победител в крайна сметка.
Въпреки това, броят на LLM, налични в този режим, е ограничен. Можете да изберете различни версии на Llama 2, Vicuna и ChatGLM. Въпреки че популярните LLM, като GPT-4, GPT-3.5, Claude 1, Claude 2 и т.н., в момента не са достъпни в този режим, Chatbot Arena планира да ги добави.
Сравнете LLM с помощта на Chatbot Arena
Независимо дали търсите да намерите подходящ чатбот за вашите нужди или просто искате да тествате различни LLMs, Chatbot Arena е страхотна платформа.
Той предоставя опростен начин за сравняване на различни езикови модели един до друг. И тъй като поддържа класация въз основа на отзивите на потребителите, можете директно да видите класирането на различни модели, без да провеждате сами тестовете.
