Ora Computing привлекла €3.5 млн на разработку ПО для сжатия AI‑моделей

Стартап Ora Computing, который разрабатывает программное обеспечение для оптимизации и сжатия AI foundation models, привлёк €3.5 млн в seed-раунде. Инвестицию возглавили Constructor Capital и Greencode Ventures, участие также продолжил первоначальный инвестор XISTA Science Ventures, пишет Tech.eu. Компания сосредоточена на снижении затрат на AI inference. Это одна из ключевых проблем при масштабном внедрении ИИ, поскольку вычислительные расходы организаций могут достигать десятков миллионов евро в месяц.

Технология Ora Computing позволяет уменьшать размер моделей до 80 per cent. В результате они способны работать до четырёх раз быстрее и при этом сохранять высокую производительность. Потеря точности обычно находится в диапазоне от 0 до 5 per cent. Сокращение вычислительных требований для inference уменьшает и энергопотребление, а вместе с ним и связанные выбросы углерода. По оценке компании, даже 1 per cent проникновения на рынок может обеспечить ежегодное сокращение выбросов CO ₂ более чем на 50,000 тонн.

Алгоритмы Ora автоматически отслеживают баланс между размером модели и точностью. Это помогает настраивать развёртывание под конкретное оборудование, требования к производительности и бюджет. Решение работает на разных аппаратных платформах и интегрируется со стандартными inference frameworks. При этом не требуется создавать собственные программные слои, менять инфраструктуру или проводить дорогостоящее повторное обучение. Компания также продемонстрировала сжатие модели с 70 billion parameters за несколько часов при вычислительной стоимости менее $1,000. Для сравнения, отраслевые ориентиры для аналогичных задач могут доходить до сотен тысяч долларов. Полученные средства планируется направить на расширение команды, развитие технологий сжатия для крупнейших frontier models и запуск коммерческого продукта для cloud inference providers и организаций, которые развёртывают ИИ на edge.