Liquid AI выпустила модели LFM2.5-Embedding-350M и…

Liquid AI представила две модели для задач поиска: LFM2.5-Embedding-350M и LFM2.5-ColBERT-350M. В каждой по 350M параметров. Это первые двунаправленные модели в семействе LFM. Они построены на базе LFM2.5-350M-Base, выпущенной в марте, и рассчитаны на быстрый многоязычный и кросс-языковой поиск на 11 языках. За счет компактного размера модели можно запускать почти на любых устройствах, включая edge. Сейчас они доступны на Hugging Face по лицензии LFM Open License v1.0.

У моделей общий backbone, но текст они представляют по-разному. LFM2.5-Embedding-350M работает как dense bi-encoder: документ превращается в один вектор размерности 1024 через CLS‑подобный pooling. Такой подход дает очень быстрый поиск и небольшой индекс. LFM2.5-ColBERT-350M использует схему late interaction. Каждый токен кодируется отдельным вектором размерности 128, затем сопоставление происходит на уровне слов с применением MaxSim. Это улучшает точность и способность к обобщению, однако индекс получается крупнее. Максимальная длина запроса у ColBERT ограничена 32 токенами. Модель также можно применять для reranking результатов первого этапа поиска без построения индекса.

Архитектура основана на LFM2.5-350M-Base с добавленными двунаправленными патчами. Команда заменила causal attention mask на bidirectional, поэтому каждый токен учитывает контекст и слева, и справа. Короткие свертки LFM2 сделали non-causal. В каждой модели 17 слоев: 10 convolution, 6 attention и 1 pooling или dense. Поддерживаемая длина контекста достигает 32 768 токенов, при этом документы оптимизированы под 512 токенов.

Обучение проходило в три этапа. Сначала контрастивное предобучение на английском. Затем многоязычная и кросс-языковая дистилляция от teacher‑модели на всех 11 языках. Финальный шаг, донастройка на hard-mined negatives. Для обучения использовались внутренние данные и открытые англоязычные retrieval‑датасеты, а перевод на другие языки выполнялся с помощью LLM.

В бенчмарках NanoBEIR (NDCG@10) и MKQA-11 (Recall@20) на языках Arabic, German, English, Spanish, French, Italian, Japanese, Korean, Norwegian, Portuguese и Swedish модель LFM2.5-ColBERT-350M показала 0.605 и 0.694 соответственно. LFM2.5-Embedding-350M получила 0.577 и 0.691. Обе модели обошли более крупную Qwen/Qwen3-Embedding-0.6B с результатами 0.556 и 0.638.

Ключевые факты

Liquid AI выпустила две модели ретриверов: LFM2.5-Embedding-350M и LFM2.5-ColBERT-350M, каждая с 350M параметров.

Обе модели являются первыми двунаправленными представителями семейства LFM и построены на базе LFM2.5-350M-Base, выпущенной в March.

Модели предназначены для мультиязычного и кросс‑языкового поиска по 11 языкам и могут использоваться в задачах вроде каталогов товаров, FAQ и документации поддержки.

В бенчмарках NanoBEIR и MKQA-11 модель LFM2.5-ColBERT-350M показала 0.605 по NDCG@10 и 0.694 по Recall@20, а LFM2.5-Embedding-350M, 0.577 и 0.691 соответственно.