SEMQ предлагает сократить требования к памяти ИИ без потери точности
Исследователи представили подход SEMQ (Symbolic Embedding Multi-Quantization), который может снизить требования ИИ-моделей к памяти и хранилищу без традиционной квантизации. Метод строится на разделении семантики и способа представления embedding-векторов. Вместо хранения точных числовых координат система делает упор на относительные связи и геометрию данных.
Как сообщает The Register, автор идеи Andrés Mac Allister из The SEMQ Group считает, что для многих задач важнее сохранять отношения между embedding-векторами, а не абсолютные значения параметров. В статье SEMQ описан как слой семантической абстракции, позволяющий отделить смысл данных от метрик, индексации и способа исполнения.
В материале приводят такой пример: модель с 7 млрд параметров в формате FP32 требует около 28 ГБ памяти и дискового пространства. Переход на FP16/BF16 сокращает объём примерно до 14 ГБ. Более агрессивные варианты квантизации, включая FP8, INT8/Q8, Q6, Q5, Q4, Q3 и Q2, уменьшают размер модели ещё сильнее, но вместе с этим снижают точность ответов.
По словам Mac Allister, предварительные тесты показали стабильность операций поиска и классификации после преобразования embedding-состояния в формат .semq и обратного восстановления. В одном из тестов на наборе Banking77 из MTEB с моделью all-MiniLM-L6-v2 базовый режим FP32 показал точность 92,26%, SEMQ, 92,27%.
Ключевые факты
Модель с 7 млрд параметров в формате FP32 требует около 28 ГБ памяти и дискового пространства
Форматы FP16/BF16 уменьшают объём такой модели примерно до 14 ГБ
SEMQ расшифровывается как Symbolic Embedding Multi-Quantization
В тесте на Banking77 из MTEB модель all-MiniLM-L6-v2 показала 92,26% точности в FP32 и 92,27% при использовании SEMQ