Използването на локален голям езиков модел не е за всеки, но има някои добри причини, поради които може да искате да опитате.
Ключови изводи
- По-малко цензура: Местните LLM предлагат свободата за обсъждане на провокиращи мисли теми без ограниченията, наложени на публичните чатботове, което позволява по-отворени разговори.
- По-добра поверителност на данните: Чрез използването на местен LLM, всички генерирани данни остават на вашия компютър, като гарантират поверителност и предотвратяват достъпа от компании, управляващи публични LLM.
- Използване офлайн: Местните LLM позволяват непрекъснато използване в отдалечени или изолирани райони без надежден достъп до интернет, предоставяйки ценен инструмент в такива сценарии.
От пристигането на ChatGPT през ноември 2022 г. терминът голям езиков модел (LLM) бързо се превърна от нишов термин за AI маниаци в модна дума на устните на всички. Най-голямата привлекателност на местния LLM е способността да копирате способностите на чатбот като ChatGPT на вашия компютър без багажа на версия, хоствана в облак.
Съществуват аргументи за и против създаването на локален LLM на вашия компютър. Ние ще намалим рекламата и ще ви представим фактите. Трябва ли да използвате местен LLM?
Предимствата на използването на местни LLM
Защо хората са толкова развълнувани да създадат свои собствени големи езикови модели на техните компютри? Отвъд шума и самохвалството, какви са някои практически ползи?
1. По-малко цензура
Когато ChatGPT и Bing AI за първи път се появиха онлайн, нещата, които и двата чатбота бяха готови да кажат и направят, бяха толкова очарователни, колкото и тревожни. Bing AI действаше топло и прекрасно, сякаш имаше емоции. ChatGPT беше готов да използва ругатни, ако помолите любезно. По това време и двата чатбота дори биха ви помогнали да направите бомба, ако използвате правилните подкани. Това може да звучи като всякакви нюанси на грешка, но способността да се прави всичко беше емблематично за неограничените възможности на езиковите модели, които ги захранваха.
Днес и двете чатботовете са толкова строго цензурирани че дори няма да ви помогнат да напишете измислен криминален роман със сцени на насилие. Някои AI chatbots дори не говорят за религия или политика. Въпреки че LLM, които можете да настроите локално, не са напълно освободени от цензура, много от тях с радост ще направят провокиращите мисли неща, които публичните чатботове няма да направят. Така че, ако не искате робот да ви чете лекции за морала, когато обсъждате теми от личен интерес, провеждането на местен LLM може да е правилният начин.
2. По-добра поверителност на данните
Една от основните причини, поради които хората избират местен LLM, е да гарантират, че всичко, което се случва на техния компютър, остава на техния компютър. Когато използвате местен LLM, това е като да водите частен разговор във вашата всекидневна - никой отвън не може да слуша. Независимо дали експериментирате с данните на вашата кредитна карта или провеждате чувствителни лични разговори с LLM, всички получени данни се съхраняват само на вашия компютър. Алтернативата е използването на публично достъпни LLM като GPT-4, което дава на отговорните компании достъп до вашата информация за чат.
3. Използване офлайн
Тъй като интернет е широко достъпен и достъпен, офлайн достъпът може да изглежда като тривиална причина да използвате местен LLM. Офлайн достъпът може да стане особено критичен в отдалечени или изолирани места, където интернет услугата е ненадеждна или недостъпна. При такива сценарии локален LLM, работещ независимо от интернет връзка, се превръща в жизненоважен инструмент. Позволява ви да продължите да правите каквото искате без прекъсване.
4. Намаляване на разходите
Средната цена за достъп до способен LLM като GPT-4 или Claude 2 е $20 на месец. Въпреки че това може да не изглежда като тревожна цена, все пак получавате няколко досадни ограничения за тази сума. Например, с GPT-4, достъпен чрез ChatGPT, вие оставате с ограничение от 50 съобщения на три часа. Можете да преминете тези ограничения само чрез преминаване към плана ChatGPT Enterprise, което потенциално може да струва хиляди долари. С местен LLM, след като сте настроили софтуера, няма $20 месечен абонамент или повтарящи се разходи за плащане. Това е като да си купите кола, вместо да разчитате на услуги за споделено пътуване. Първоначално е скъпо, но с течение на времето спестявате пари.
5. По-добро персонализиране
Публично достъпните AI chatbots имат ограничено персонализиране поради опасения за сигурността и цензурата. С локално хостван AI асистент можете напълно да персонализирате модела за вашите специфични нужди. Можете да обучите асистента на собствени данни, съобразени с вашите случаи на употреба, подобрявайки уместността и точността. Например, адвокат може да оптимизира своя локален AI, за да генерира по-прецизни правни прозрения. Основното предимство е контролът върху персонализирането за вашите уникални изисквания.
Минусите от използването на местни LLMs
Преди да преминете, има някои недостатъци при използването на местен LLM, които трябва да имате предвид.
1. Ресурсно интензивен
За да управлявате производителен локален LLM, ще ви трябва хардуер от висок клас. Помислете за мощни процесори, много RAM и вероятно специален графичен процесор. Не очаквайте бюджетен лаптоп от $400 да осигури добро изживяване. Отговорите ще бъдат болезнено бавни, особено при по-големите AI модели. Това е като да изпълнявате авангардни видеоигри – имате нужда от мощни спецификации за оптимална производителност. Може дори да имате нужда от специализирани решения за охлаждане. Изводът е, че местните LLM изискват инвестиция в хардуер от най-високо ниво, за да получите скоростта и отзивчивостта, на които се радвате на уеб базираните LLM (или дори да ги подобрите). Компютърните изисквания от ваша страна ще бъдат значителни в сравнение с използването на уеб базирани услуги.
2. По-бавни реакции и по-ниска производителност
Често срещано ограничение на местните LLM е по-бавното време за реакция. Точната скорост зависи от конкретния AI модел и използвания хардуер, но повечето настройки изостават от онлайн услугите. След като получат мигновени отговори от ChatGPT, Bard и други, местните LLM могат да се почувстват дразнещо мудни. Думите бавно изтичат навън, а не се връщат бързо. Това не е универсално вярно, тъй като някои локални внедрявания постигат добра производителност. Но средните потребители са изправени пред рязък спад от бързото уеб изживяване. Така че, подгответе се за „културен шок“ от бързи онлайн системи до по-бавни местни еквиваленти.
Накратко, освен ако не разтърсвате абсолютна най-добра настройка (говорим за AMD Ryzen 5800X3D с Nvidia RTX 4090 и достатъчно RAM, за да потопите кораб), цялостната производителност на вашия локален LLM няма да се сравни с онлайн генеративните AI чатботове, които сте използван за.
3. Комплексна настройка
Внедряването на локален LLM е по-ангажиращо от простото регистриране за уеб-базирана услуга за изкуствен интелект. С интернет връзка вашият акаунт в ChatGPT, Bard или Bing AI може да е готов да започне да ви подсказва след минути. Създаването на пълен локален LLM стек изисква изтегляне на рамки, конфигуриране на инфраструктура и интегриране на различни компоненти. При по-големите модели този сложен процес може да отнеме часове, дори с инструменти, които имат за цел да опростят инсталирането. Някои модерни AI системи все още изискват задълбочени технически познания, за да работят локално. Така че, за разлика от plug-and-play уеб-базирани AI модели, управлението на вашия собствен AI включва значителна техническа инвестиция и инвестиция във време.
4. Ограничено знание
Много местни LLMs са останали в миналото. Те имат ограничени познания за текущите събития. Спомняте ли си, когато ChatGPT не можа да получи достъп до интернет? Кога можеше да дава отговори само на въпроси за събития, случили се преди септември 2021 г.? да Е, подобно на ранните модели на ChatGPT, локално хостваните езикови модели често се обучават само на данни преди определена крайна дата. В резултат на това те не са запознати с последните развития след този момент.
