7-те най-добри местни/офлайн LLMs, които можете да опитате точно сега

Потребителите обикновено имат достъп до големи езикови модели (LLM) чрез използване на потребителски интерфейс чрез API. Въпреки че предоставя няколко предимства, използването на API също въвежда ограничения, като например необходимостта от постоянен интернет връзка, ограничени персонализации, възможни проблеми със сигурността и компании, ограничаващи възможностите на модела чрез a платена стена.

С квантувани LLM, които вече са налични в HuggingFace, и AI екосистеми като H20, Text Gen и GPT4All позволявайки ви да зареждате LLM тежести на вашия компютър, сега имате опция за безплатен, гъвкав и сигурен AI.

За да започнете, ето седем от най-добрите местни/офлайн LLM, които можете да използвате в момента!

1. Hermes GPTQ

Най-съвременен езиков модел, фино настроен с помощта на набор от данни от 300 000 инструкции от Nous Research. Hermes е базиран на LlaMA2 LLM на Meta и е фино настроен с помощта на предимно синтетични GPT-4 изходи.

Използването на LlaMA2 като негов базов модел позволява на Hermes да удвои размера на контекста или максимален размер на токена от 4096. Съчетавайки размера на дългия контекст и архитектурата на енкодера, Hermes е известно, че дава дълги отговори и ниски нива на халюцинации. Това прави Hermes чудесен модел за различни обработка на естествен език (NLP) задачи, като писане на код, създаване на съдържание и работа като чатбот.

Има няколко квантования и версии на новия Hermes GPTQ. Препоръчваме ви първо да изпробвате модела Hermes-Llama2 13B-GPTQ, тъй като това е най-лесната версия за внедряване, като същевременно има страхотна производителност.

2. Falcon Instruct GPTQ

Тази квантована версия на Falcon се основава на архитектурата само за декодер, фино настроена върху необработения модел Flacon-7b на TII. Базовият модел на Falcon беше обучен с помощта на изключителни 1,5 трилиона токена, получени в обществения интернет. Като модел, базиран само на декодер, лицензиран под Apache 2, Falcon Instruct е идеален за малки фирми, които търсят модел, който да използват за езиков превод и въвеждане на данни.

Тази версия на Falcon обаче не е идеална за фина настройка и е само за изводи. Ако искате да настроите фино Falcon, ще трябва да използвате необработения модел, който може да изисква достъп до корпоративен хардуер за обучение, като NVIDIA DGX или AMD Instinct AI ускорители.

3.GPT4ALL-J Groovy

GPT4All-J Groovy е модел само с декодер, фино настроен от Nomic AI и лицензиран под Apache 2.0. GPT4ALL-J Groovy е базиран на оригиналния GPT-J модел, за който се знае, че е страхотен при генериране на текст от подкани. GPT4ALL -J Groovy е прецизно настроен като модел за чат, който е чудесен за бързи и креативни приложения за генериране на текст. Това прави GPT4All-J Groovy идеален за създателите на съдържание, като им помага в писането и творческите работи, независимо дали става дума за поезия, музика или истории.

За съжаление, базовият GPT-J модел беше обучен на набор от данни само на английски, което означава, че дори този фино настроен модел GPT4ALL-J може да чати и да изпълнява приложения за генериране на текст само на английски.

4.WizardCoder-15B-GPTQ

Търсите модел, специално настроен за кодиране? Въпреки значително по-малкия си размер, WizardCoder е известен като един от най-добрите модели за кодиране, надминавайки други модели като LlaMA-65B, InstructCodeT5+ и CodeGeeX. Този модел беше обучен с помощта на специфичен за кодирането метод Evol-Instruct, който автоматично редактира вашите подкани, за да бъде по-ефективна подкана, свързана с кодирането, която моделът може да разбере по-добре.

Като се квантува в 4-битов модел, WizardCoder вече може да се използва на обикновени компютри, където хората могат да го използват за експериментиране и като помощник за кодиране за по-прости програми и скриптове.

5. Wizard Vicuna Uncensored-GPTQ

Wizard-Vicuna GPTQ е квантована версия на Wizard Vicuna, базирана на модела LlaMA. За разлика от повечето LLMs, пуснати за обществеността, Wizard-Vicuna е нецензуриран модел с премахнато подравняване. Това означава, че моделът няма същите стандарти за безопасност и морал като повечето модели.

Въпреки че вероятно представлява Проблем с управлението на подравняването на AI, наличието на нецензурирана LLM също извежда най-доброто от модела, като ви позволява да отговаряте без никакви ограничения. Това също така позволява на потребителите да добавят свое персонализирано подравняване за това как AI трябва да действа или отговаря въз основа на дадена подкана.

6. Orca Mini-GPTQ

Търсите да експериментирате с модел, обучен по уникален метод на обучение? Orca Mini е неофициална реализация на модел на научните документи на Orca на Microsoft. Той беше обучен с помощта на метода на обучение учител-ученик, където наборът от данни беше пълен с обяснения, вместо само подкани и отговори. Това, на теория, трябва да доведе до по-интелигентен студент, при който моделът може да разбере проблема, вместо просто да търси входни и изходни двойки, като например как работят типичните LLMs.

Само с три милиарда параметъра Orca Mini GPTQ е лесен за стартиране дори на по-малко мощни системи. Този модел обаче не трябва да се използва за нищо професионално, тъй като генерира невярна информация, пристрастни и обидни отговори. Този модел трябва да се използва за изучаване и експериментиране с Orca и нейните методи.

7.LlaMA 2 Чат GPTQ

LlaMA 2 е наследник на оригиналния LlaMA LLM, който създаде повечето модели в този списък. LlaMA 2 е колекция от няколко LLM, всеки обучен с помощта на 7-70 милиарда параметъра. Като цяло LlaMA 2 беше предварително обучен с помощта на 2 трилиона токени данни, взети от публично достъпни набори от данни с инструкции.

LlaMA 2 е предназначен да се използва за търговски и изследователски цели. Като такъв, този модел е най-добре да се използва след фина настройка за по-добра производителност при конкретни задачи. Този специфичен LlaMA 2 чат GPTQ модел е фино настроен и оптимизиран за английски диалог, което го прави идеалният модел за компании и организации като чатбот с малко или никакво допълнително обучение изисква се. Според условията компаниите с по-малко от 700 милиона потребители могат да използват LlaMA 2 без да плащат лицензионна такса от Meta или Microsoft.

Опитайте локални големи езикови модели днес

Някои от изброените по-горе модели имат няколко версии по параметри. Като цяло версиите с по-високи параметри дават по-добри резултати, но изискват по-мощен хардуер, докато версиите с по-ниски параметри ще генерират резултати с по-ниско качество, но могат да работят на хардуер от по-нисък клас. Ако не сте сигурни дали вашият компютър може да изпълнява модела, опитайте първо да изберете версия с по-ниски параметри, след което продължете, докато почувствате, че спадът на производителността вече не е приемлив.

Тъй като квантуваните модели в този списък заемат само няколко гигабайта пространство и платформи за внедряване на модели като GPT4All и Text-Generation-WebUI може лесно да се инсталира чрез техните инсталатори с едно щракване, изпробването на няколко модела и версиите на модела не трябва да отнемат много време и усилия.

И така, какво чакате? Опитайте местен модел днес!