Какво представлява обучението за трансфер на изкуствен интелект и как работи?

Ако се интересувате от обучение на свой собствен AI модел за обработка на естествен език (NLP) или компютърно зрение, трябва да се запознаете с трансферното обучение и как да използвате предварително обучени модели.

Без трансфер на обучение, обучението на ефективен и надежден модел често ще бъде непосилно ресурсно усилие, изискващо много пари, време и опит, като разработчикът на ChatGPT OpenAI се смята, че е похарчил милиони за обучение на GPT-3, GPT-3.5 и GPT-4. Със силата на трансферното обучение можете да обучите свой собствен модел толкова мощен, колкото най-новия GPT модел с малко ресурси за кратък период от време.

Какво представлява обучението за трансфер на изкуствен интелект?

Трансферното обучение е идеята да се вземе предварително обучен модел като BERT или един от различни GPT модели и да го обучите на персонализиран набор от данни, за да работи върху задачи, с които не е задължително да е обучен да се справя.

Например, можете да вземете предварително обучен модел за класифициране на различни видове котки и да го обучите да класифицира кучета. Чрез трансферно обучение обучението на вашия модел за класифициране на кучета трябва да отнеме значително по-малко време и ресурси, за да стане толкова надежден, колкото оригиналния модел за класифициране на котки.

Това работи, тъй като котките и кучетата споделят много черти, които предварително обученият модел вече може да идентифицира. Тъй като моделът за класифициране на котки може да идентифицира различните черти на котка, като например четири крака, кожени палта и изпъкнал муцуни, моделът за класифициране на кучета може да пропусне цялото обучение, за да идентифицира тези черти и да ги наследи от оригинала модел. След като наследите всички тези невронни мрежи, вие отрязвате последните слоеве на обучения модел, използван за идентифициране на по-специфичните черти на котка, и ги заменяте с набор от данни, специфичен за кучета.

Какви AI модели можете да използвате за трансферно обучение?

За да използвате трансферно обучение, ще ви трябва предварително обучен модел. Предварително обучен модел е известен като AI модел, обучен с цел получаване на общи знания по конкретен предмет или идея. Тези типове предварително обучени модели са създадени нарочно, за да могат хората да прецизират и да правят модели, по-специфични за приложението. Някои от най-популярните предварително обучени модели са за НЛП, като BERT и GPTи компютърно зрение, като VGG19 и Inceptionv3.

Въпреки че са популярни, тези лесно настройващи се модели не са единствените, които можете да използвате за трансферно обучение. Можете също така да използвате модели, обучени за задачи, по-специфични от общото разпознаване на обект или език. Докато моделът е разработил невронни мрежи, приложими към модела, който се опитвате да обучите, можете да използвате почти всеки модел за трансферно обучение.

Можете да получите публично достъпни предварително обучени модели от места като TensorFlow Hub, Hugging Face и пазара на модели OpenAI.

Ползи от използването на AI Transfer Learning

Трансферното обучение предоставя няколко предимства пред обучението на AI модел от нулата.

• Намалено време за обучение: Когато обучавате модел от нулата, голяма част от процеса на обучение се изразходва за общи основни познания. Чрез трансферно обучение вашият модел автоматично наследява всички тези основни знания, като по този начин значително намалява времето за обучение.
• По-малко изискване за ресурси: Тъй като всички основни знания вече са налице, всичко, което трябва да направите, е да обучите допълнително модела за спецификата на вашето приложение. Това често изисква само сравнително малък набор от данни, който може да се обработва с по-малко изчислителна мощност.
• Подобрена производителност: Освен ако не похарчите милиони долари за изграждане на вашия модел от нулата, не можете да очаквате модел толкова добър или надежден, колкото голям езиков модел (LLM) от гигантска технологична компания. Чрез използването на трансферно обучение можете да се възползвате от мощните възможности на тези предварително обучени LLM, като GPT, за да подобрите производителността на вашия модел.

Обучението на AI модел от нулата е възможно, но имате нужда от повече ресурси, за да го направите.

Как работи трансферното обучение?

По същество има три етапа, когато става дума за трансфер на обучение.

• Избор на предварително обучен модел: Предварително обучен модел преминава първоначално обучение с помощта на значителен набор от данни от изходна задача, като ImageNet, или голяма колекция от текст. Тази начална фаза на обучение позволява на модела да придобие знания за общи характеристики и модели, открити в набора от данни. Количеството време и ресурси, които спестявате от трансферно обучение, ще зависи от приликите между предварително обучения модел и модела, който се опитвате да изградите.
• Извличане на функции: След като предварително обучен модел бъде избран за фина настройка, първоначалните слоеве на предварително обучения модел (най-близо до входа) се замразяват; това означава, че техните тегла се поддържат фиксирани по време на фина настройка. Замразяването на тези слоеве запазва общите знания, научени по време на фазата на предварително обучение, и ги предпазва от силно влияние от набора от данни, специфични за задачите на целевия модел. За модели, които са напълно обучени за конкретни приложения, последните слоеве на моделите се премахват или се отменят от обучението, за да може целевият модел да бъде обучен в други специфични приложения.
• Фина настройка: След като предварително обученият модел бъде замразен и най-горните слоеве са премахнати, нов набор от данни се подава към алгоритъма за обучение, който след това се използва за обучение на новия модел и спецификата на неговото приложение.

Има нещо повече от трите етапа, но това описание описва грубо как работи процесът на обучение за трансфер на AI, с някои фини настройки.

Ограничения на AI Transfer Learning

Въпреки че трансферното обучение е ценна концепция при обучението на ефективни и надеждни модели, има доста ограничения, които трябва да знаете, когато използвате трансферно обучение за обучение на модел.

• Несъответствие на задачата: Когато избирате базов модел за трансферно обучение, той трябва да бъде възможно най-подходящ за проблемите, които новият модел ще реши. Използването на модел, който класифицира котки за създаване на модел за класифициране на кучета, е по-вероятно да доведе до по-добри резултати, отколкото използването на модел за класифициране на автомобили за създаване на модел за растения. Колкото по-подходящ е основният модел за модела, който се опитвате да изградите, толкова повече време и ресурси ще спестите по време на процеса на обучение по трансфер.
• Отклонение на набора от данни: Въпреки че предварително обучените модели често се обучават в големи набори от данни, все още съществува възможност те да са развили определено пристрастие по време на обучението си. Използването на силно предубедения базов модел също би накарало модела да наследи своите пристрастия, като по този начин намали точността и надеждността на вашия модел. За съжаление, произходът на тези пристрастия е трудно да се определи поради природата на черната кутия на дълбокото обучение.
• Прекомерно оборудване: Едно от основните предимства на трансферното обучение е, че можете да използвате сравнително малък набор от данни за допълнително обучение на модел. Въпреки това, обучението на модела върху набор от данни, който е твърде малък, може да причини пренастройване, което значително намалява надеждността на модела, когато се предоставят нови данни.

Така че докато трансферното обучение е удобна техника за обучение с изкуствен интелект, съществуват ограничения и това не е сребърен куршум.

Трябва ли да използвате трансферно обучение?

Още от наличието на предварително обучени модели, трансферното обучение винаги се е използвало за създаване на по-специализирани модели. Наистина няма причина да не използвате трансферно обучение, ако вече има предварително обучен модел, подходящ за проблемите, които вашият модел ще решава.

Въпреки че е възможно да се обучи прост модел на машинно обучение от нулата, това ще изисква модел на задълбочено обучение много данни, време и умения, които няма да имат смисъл, ако можете да пренастроите съществуващ модел, подобен на този, който планирате влак. Така че, ако искате да изразходвате по-малко време и пари за обучение на модел, опитайте да обучите своя модел чрез трансферно обучение.