Как да стартирате голям езиков модел на Linux (и защо трябва)

Големите езикови модели имат потенциала да революционизират начина, по който живеете и работите, и могат да поддържат разговори и да отговарят на въпроси с различна степен на точност.

За да използвате такъв, обикновено се нуждаете от акаунт при доставчик на LLM и да влезете чрез уебсайт или специално приложение. Но знаете ли, че можете да управлявате свой собствен голям езиков модел изцяло офлайн на Linux?

Защо да изпълнявате голям езиков модел на Linux?

Големите езикови модели (LLM) са навсякъде в наши дни и могат да обработват естествен език и да дават подходящи отговори, които могат да ви заблудят да мислите, че човек е отговорил. Microsoft пуска нова, базирана на AI версия на Bing, докато на Alphabet Bard вече е неразделна част от търсенията в Google.

Далеч от търсачките, можете да използвате така наречените „AI chatbots“, за да отговаряте на въпроси, да композирате поезия или дори да си правите домашното вместо вас.

Но като имате достъп до LLM онлайн, вие зависи от добрата воля на доставчик трета страна, която може да бъде оттеглена по всяко време.

Вие също подлежите на ограничения за използване. Помолете OpenAI да напише еротична новела от 6000 думи, действието на която се развива в нацистка Германия, например, и ще получите отговор от рода на „Извинявам се, но няма да мога да генерирам тази история за вас“.

Всичко, което въвеждате в онлайн LLMs, се използва за по-нататъшното им обучение, а данните, които може да искате да останат поверителни, може да бъдат изплюти в бъдеще като част от отговор на нечий друг въпрос.

Вие също сте обект на липса на услуги, тъй като системата е наводнена с потребители и е принудена да се абонирате, така че да имате достъп до платформата, когато търсенето е високо.

Dalai е безплатна реализация с отворен код на LLM на Meta и Alpaca на Станфорд. Той ще работи удобно на скромен хардуер и предоставя удобен уеб интерфейс и набор от подканващи шаблони, така че можете да питате каквото искате, без да се страхувате, че администраторът ще затвори акаунта ви, LLM ще откаже да отговори или връзката ви ще изпускайте.

Когато инсталирате LLM локално на Linux, той е ваш и можете да го използвате както искате.

Как да инсталирате Dalai на Linux

Най-лесният начин да инсталирате Dalai на Linux е да използвате Docker и Docker Compose. Ако все още нямате такива, консултирайте се с нашето ръководство как да го направите инсталирайте Docker и Docker Compose.

След като приключите с това, вие сте готови да започнете да инсталирате Dalai. Клонирайте хранилището на Dalai GitHub и използвайте командата cd, за да се преместите в него:

git клонинг https://github.com/cocktailpeanut/dalai.git && cd dalai

За да стартирате Dalai с уеб интерфейс, първо изградете файла Docker Compose:

docker-compose компилация

Docker Compose ще изтегли и инсталира Python 3.11, Node Version Manager (NVM) и Node.js.

На етап седми от девет изграждането ще изглежда замразено, докато Docker Compose изтегля Dalai. Не се притеснявайте: проверете използването на вашата честотна лента, за да се уверите, че нещо се случва, и симулирайте еволюцията на виртуални организми във вашия терминал докато чакате.

В крайна сметка ще се върнете към командния ред.

Моделите Dalai и LLaMa/Alpaca изискват много памет за работа. Въпреки че няма официална спецификация, добро грубо ръководство е 4GB за модела 7B, 8GB за модела 13B, 16GB за модела 30B и 32GB за модела 65B.

Моделите Alpaca са относително малки, като моделът 13B достига скромните 7,6 GB, но теглото на LLaMA може да бъде огромно: еквивалентното изтегляне на 13B идва с 60,21 GB, а моделът 65B ще заеме епичен половин терабайт на вашия твърд диск.

Решете кой модел е най-подходящ за вашите ресурси и използвайте следната команда, за да го инсталирате:

docker-compose стартирайте dalai npx dalai alpaca инсталирайте 13B

Или:

docker-compose стартирайте dalai npx dalai llama инсталирайте 13B

Има вероятност моделите, изтеглени чрез Dalai, да са повредени. Ако случаят е такъв, вземете ги от Прегръщащо лице вместо.

След като се върнете към командния ред, изведете Docker Compose в отделен режим:

докер-съставяне -d

Проверете дали контейнерът работи правилно с:

docker-compose ps

Ако всичко работи както трябва, отворете уеб браузър и влезте локален хост: 3000 в адресната лента.

Забавлявайте се с вашия собствен голям езиков модел на Linux

Когато уеб интерфейсът се отвори, ще видите текстово поле, в което можете да напишете вашите подкани.

Писането на ефективни подкани е трудно и разработчиците на Dalai услужливо предоставиха набор от шаблони, които ще ви помогнат да получите полезен отговор от Dalai.

Това са AI-диалог, Чатбот, По подразбиране, Инструкция, нова редакция, Превеждай, и Туит-настроение.

Както бихте очаквали, AI-диалог и Чатбот шаблоните са структурирани по начин, който ви позволява да проведете своеобразен разговор с LLM. Основната разлика между двете е, че се предполага, че чатботът е „високо интелигентен“, докато AI-Dialog е „услужлив, мил, послушен, честен и знае собствените си граници“.

Разбира се, това е вашият "AI" и ако ви харесва, можете да промените подканата, така че чатботът да е тъп, а характеристиките на диалога с AI да са "садистични" и "безполезни". От теб зависи.

Тествахме Превеждай функция, като копирате началния абзац на новина на BBC и помолите Далай да го преведе на испански. Преводът беше добър и когато го пуснахме през Google Translate, за да го върнем на английски, открихме, че е доста четим и отразява фактите и настроението на оригиналното парче.

По същия начин, нова редакция шаблон завъртя текста убедително в началото на нова статия.

The По подразбиране и Инструкция подканите са структурирани, за да ви помогнат да задавате въпроси или директно да инструктирате Далай.

Точността на отговора на Dalai ще варира значително в зависимост от модела, който използвате. Модел 30B ще бъде много по-полезен от модел 7B. Но дори и тогава ви се напомня, че LLM са просто сложни системи за отгатване на следващата дума в изречение.

Нито моделите 7B, нито 13B Alpaca успяха да осигурят точно резюме от 200 думи на кратката история „Котка в Дъжд“ от Ърнест Хемингуей и двата измислиха напълно убедителни сюжетни линии и подробности за историята съдържащи се.

И докато „услужливият, любезен, послушен, честен“ AI-Dialog, който „познава собствените си граници“, и „високо интелигентният“ Chatbot ще се противопоставят на противоречиви подкани, можете да дадете на Dalai права инструкция или заявка по подразбиране и той ще напише каквото искате - както искате то.

Голям езиков модел на вашата Linux машина е ваш

Като изпълнявате голям езиков модел на вашата собствена Linux кутия, вие не сте обект на надзор или оттегляне на услугата. Можете да го използвате, както сметнете за добре, без страх от последствия за нарушаване на корпоративна политика за съдържание.

Ако вашите изчислителни ресурси са малко, можете дори да стартирате LLM локално на скромно Raspberry Pi.