Как 20‑миллиардная модель параметров помещается на iPhone: подход Apple
Локальные системы ИИ требуют значительного объёма оперативной памяти. На iPhone этот ресурс ограничен, что усложняет запуск подобных моделей непосредственно на устройстве.
Apple использует для своего нового ИИ‑модели специальный приём, позволяющий обойти это ограничение. Благодаря этому подходу модель с 20 миллиардами параметров может работать на iPhone, несмотря на дефицит доступной памяти.
Материал Heise online отмечает, что именно нехватка оперативной памяти обычно становится главным препятствием для локального ИИ на мобильных устройствах, поэтому компания применяет особую техническую хитрость в реализации своей модели.
Ключевые факты
Apple заявляет, что модель на 20 млрд параметров может работать на iPhone.
Локальный ИИ требует большого объёма оперативной памяти, которой на iPhone ограниченное количество.
Для своего нового ИИ‑моделя Apple использует «особый трюк», позволяющий разместить его на устройстве.