OpenMed опубликовал более 650 биомедицинских NER и de‑id моделей с запуском на устройстве через MLX

Проект OpenMed выпустил более 650 моделей для задач биомедицинского извлечения сущностей и де‑идентификации, которые можно запускать локально через MLX. Как сообщает r/LocalLLaMA (Reddit), все модели распространяются по лицензии Apache 2.0, а их исходные веса остаются теми же, что и в версиях для других фреймворков. В экосистеме проекта на Hugging Face размещено более 1,000 моделей. Python‑SDK openmed также распространяется по лицензии Apache 2.0. Инструменты предназначены для извлечения данных: например, multi‑entity biomedical NER (genes, chemicals, cancers, cells, organisms), disease NER, drug NER и multilingual PII de‑identification. При этом они не используются для диагностики или поддержки клинических решений.

В последнем обновлении добавили 410 сборок для MLX, после чего их общее число превысило 650. Эти модели можно запускать на macOS через MLX, а на iPhone и iPad через OpenMedKit, открытый пакет на Swift. В научной части авторы ссылаются на работу arXiv 2508.01630, где приведены результаты на 12 публичных датасетах.

Тесты производительности показывают заметное ускорение при локальном запуске на Apple Silicon. На 3‑летнем MacBook Pro с M3 Max модель biomedical NER размером 434M обрабатывает данные за 27 ms в MLX, тогда как в PyTorch на CPU при той же точности fp32 и тех же весах требуется около 1080 ms. Извлечённые сущности при этом совпадают побайтно. В другом измерении приводятся значения 36 ms (MLX) против 1248 ms (PyTorch‑CPU‑bf16) для той же модели. Для модели PII de‑identification указано 46 ms против 1671 ms.

По словам автора, ускорение связано с архитектурой deberta‑v2. Механизм disentangled attention с вычислительной сложностью O(n^2) работает медленно на CPU, тогда как GPU в Apple Silicon справляется с такими вычислениями значительно быстрее.