Какво представлява Neural Engine на Apple и как работи?

Вашият iPhone, iPad, Mac и Apple TV използват специализиран модул за невронна обработка, наречен Apple Neural Engine (ANE), който е много по-бърз и по-енергийно ефективен от CPU или GPU.

ANE прави възможни разширени функции на устройството, като обработка на естествен език и анализ на изображения, без да се докосвате до облака или да използвате прекомерна мощност.

Нека проучим как работи ANE и неговата еволюция, включително изводите и интелигентността, които осигурява в платформите на Apple и как разработчиците могат да го използват в приложения на трети страни.

Какво представлява Apple Neural Engine (ANE)?

Apple Neural Engine е маркетингово име за клъстер от високоспециализирани изчислителни ядра, оптимизирани за енергийно ефективно изпълнение на дълбоки невронни мрежи на устройства на Apple. Той ускорява алгоритмите за машинно обучение (ML) и изкуствен интелект (AI), като предлага огромни предимства в скоростта, паметта и мощността пред основния CPU или GPU.

ANE е голяма част от това защо най-новите iPhone, iPad, Mac и Apple TV са отзивчиви и не се нагряват по време на тежки ML и AI изчисления. За съжаление, не всички устройства на Apple имат ANE – Apple Watch, базираните на Intel Mac и устройствата, по-стари от 2016 г., нямат такъв.

Първият ANE, който дебютира в чипа A11 на Apple в iPhone X от 2017 г., беше достатъчно мощен, за да поддържа Face ID и Animoji. За сравнение, най-новият ANE в чипа A15 Bionic е 26 пъти по-бърз от първата версия. В наши дни ANE позволява функции като офлайн Siri и разработчиците могат да го използват, за да изпълняват предварително обучени ML модели, освобождавайки CPU и GPU, за да се съсредоточат върху задачи, които са по-подходящи за тях.

Как работи Neural Engine на Apple?

ANE осигурява контролна и аритметична логика, оптимизирана за извършване на обширни изчислителни операции като умножение и натрупване, често използвано в ML и AI алгоритми като класификация на изображения, медиен анализ, машинен превод и Повече ▼.

Според Патент на Apple озаглавен „Многорежимен планарен двигател за невронни процесори“, ANE се състои от няколко ядра на невронен двигател и една или повече многорежимни планарни вериги.

Дизайнът е оптимизиран за паралелни изчисления, където много операции, като умножения на матрици, изпълнявани в трилиони итерации, трябва да се извършват едновременно.

За да ускори извода в AI алгоритмите, ANE използва прогнозни модели. В допълнение, ANE има собствен кеш и поддържа само няколко типа данни, което помага да се увеличи максимално производителността.

AI функции, захранвани от ANE

Ето някои функции на устройството, с които може да сте запознати, които ANE прави възможни.

• Обработка на естествен език: По-бързо и по-надеждно гласово разпознаване за Диктовка и Siri; Подобрено изучаване на естествен език в приложението Translate и в цялата система; Незабавен превод на текст в Снимки, Камера и други приложения на iPhone.
• Компютърно зрение: Намиране на обекти в изображения като забележителности, домашни любимци, растения, книги и цветя с помощта на приложението Photos или Spotlight search; Получаване на допълнителна информация за разпознати обекти с помощта на Visual Look Up на места като Safari, Mail и Messages.
• Добавена реалност: Оклузия на хора и проследяване на движение в AR приложения.
• Видео анализ: Откриване на лица и обекти на видео в приложения като Final Cut Pro.
• Ефекти на камерата: Автоматично изрязване с Center Stage; Замъгляване на фона по време на видео разговори FaceTime.
• игри: Фотореалистични ефекти в 3D видео игри.
• Текст на живо: Осигуряване на оптично разпознаване на знаци (OCR) в Камера и Снимки, което ви позволява лесно да копирате ръкописен текст или текст като Wi-Fi парола или адрес от изображения.
• Компютърна фотография: Deep Fusion анализира пикселите за по-добро намаляване на шума, по-голям динамичен диапазон и подобрена автоматична експозиция и баланс на бялото, като използва Smart HDR, когато е подходящо; Фотография с малка дълбочина на полето, включително заснемане на портрети в нощен режим; Регулиране на нивото на замъгляване на фона с Depth Control.
• лакомства: ANE се използва и за фотографски стилове в приложението Камера, куриране на спомени и стилистични ефекти в снимки, персонализирани препоръки като предложения за тапети, VoiceOver надписи на изображения, намиране на дубликати на изображения в Снимки и др.

Някои от функциите, споменати по-горе, като разпознаване на изображения, също функционират без наличие на ANE, но ще работят много по-бавно и ще натоварят батерията на вашето устройство.

Кратка история на Apple Neural Engine: От iPhone X до M2 Mac

През 2017 г. Apple внедри своя първи ANE под формата на две специализирани ядра в чипа A11 на iPhone X. По днешните стандарти беше относително бавен, само с 600 милиарда операции в секунда.

ANE от второ поколение се появи в чипа A12 през 2018 г., спортен с четири пъти повече ядра. Оценен на пет трилиона операции в секунда, този ANE беше почти девет пъти по-бърз и използваше една десета от мощността на своя предшественик.

Чипът A13 от 2019 г. имаше същия осемядрен ANE, но работеше с една пета по-бързо, като същевременно използваше 15% по-малко енергия, продукт на подобрения 7nm полупроводников възел на TSMC. TSMC (Taiwan Semiconductor Manufacturing Company) произвежда чипове, проектирани от Apple.

Еволюцията на Apple Neural Engine

На следващата година Apple A14 почти удвои ANE производителността до 11 трилиона операции в секунда, постигнато чрез увеличаване на броя на ANE ядрата от 8 на 16. През 2021 г. A15 Bionic се възползва от 5nm процес от второ поколение на TSMC, който допълнително повиши производителността на ANE до 15,8 трилиона операции в секунда, без да добавя повече ядра.

Първите чипове M1, M1 Pro и M1 Max, свързани с Mac, имаха същия ANE като A14, внасяйки усъвършенствани, хардуерно ускорени ML и AI на платформата macOS за първи път.

През 2022 г. M1 Ultra комбинира два чипа M1 Max в един пакет, използвайки персонализираното свързване на Apple, наречено UltraFusion. С два пъти повече ANE ядра (32), M1 Ultra удвои ANE производителността до 22 трилиона операции в секунда.

Apple A16 през 2022 г. беше произведен с помощта на подобрения N4 възел на TSMC, осигуряващ около 8% по-бърза ANE производителност (17 трилиона операции в секунда) спрямо ANE на A15.

Първите iPad с активиран ANE бяха iPad mini от пето поколение (2019), iPad Air от трето поколение (2019) и iPad от осмо поколение (2020). Всички iPads, пуснати след това, имат ANE.

Как могат разработчиците да използват ANE в приложения?

Много приложения на трети страни използват ANE за функции, които иначе не биха били осъществими. Например, редакторът на изображения Pixelmator Pro предоставя инструменти като ML Super Resolution и ML Enhance. А в djay Pro ANE разделя бийтовете, инструменталите и вокалните песни от записа.

Разработчиците на трети страни обаче не получават достъп на ниско ниво до ANE. Вместо това всички ANE повиквания трябва да преминат през софтуерната рамка на Apple за машинно обучение, Core ML. С Core ML разработчиците могат да създават, обучават и изпълняват своите ML модели директно на устройството. След това такъв модел се използва за правене на прогнози въз основа на нови входни данни.

„След като даден модел е на устройството на потребителя, можете да използвате Core ML, за да го преквалифицирате или прецизирате на устройството, с данните на този потребител“, според прегледа на Core ML на уебсайт на Apple.

За да ускори ML и AI алгоритмите, Core ML използва не само ANE, но и CPU и GPU. Това позволява на Core ML да изпълнява модел, дори ако няма наличен ANE. Но с наличен ANE, Core ML ще работи много по-бързо и батерията няма да се изтощи толкова бързо.

Много функции на Apple не биха работили без ANE

Много функции на устройството не биха били възможни без бързата обработка на AI и ML алгоритмите и минимизирания отпечатък на паметта и консумация на енергия, които ANE предлага на масата. Магията на Apple е в наличието на специален копроцесор за частно управление на невронни мрежи на устройството, вместо да прехвърля тези задачи на сървъри в облака.

С ANE както Apple, така и разработчиците могат да внедрят дълбоки невронни мрежи и да се възползват от предимствата на ускореното машинно обучение за различни прогнозни модели като машинен превод, откриване на обекти, класификация на изображения, и т.н.