Zoho Labs сместила фокус на inference engineering на фоне распространения open-weight моделей

На конференции DevSparks 2026 в Bengaluru Ramprakash Ramamoorthy, Director of AI Research в Zoho Corp, рассказал, как распространение open-weight моделей изменило подход компании к работе собственной AI‑лаборатории. Такие модели, чьи параметры можно публично скачать и запускать самостоятельно, резко поменяли экономику разработки AI и заставили внутренние команды пересмотреть роль собственных исследований. DevSparks, это общенациональная инициатива YourStory, направленная на развитие экосистемы разработчиков в Индии.

Zoho Labs изначально создавали, чтобы разбираться с повторяющимися инженерными задачами в портфеле из более чем 100 продуктов Zoho. Идея была простой: находить проблемы, с которыми разные команды сталкиваются по отдельности, решать их один раз и затем распространять готовое решение. Работы по AI здесь начались в 2011 году, позже добавились направления machine learning, computer vision, document processing и language tools. К 2023 году open-weight модели начали перекрывать значительную часть того, что раньше делала команда. Ramamoorthy привёл пример системы перевода, созданной внутри Zoho: с 2018 по 2023 год команда поддержала 15 language pairs, а модели, появившиеся в 2023 году, уже работали с 90 language pairs и распространялись бесплатно как open source.

Ответом стали три параллельных направления. Первое, Zoho AI Bridge, даёт клиентам возможность подключаться к сторонним провайдерам или запускать open-weight модели на серверах Zoho. Второе направление, небольшой собственный модельный стек для повседневных задач вроде email и document summaries. Третье, inference engineering, именно оно постепенно стало главным фокусом лаборатории. Команда также изучала альтернативы transformer‑архитектуре, включая RWKV, Mamba и Zamba, однако экосистема transformer продолжала развиваться быстрее.

В итоге лаборатория сосредоточилась на эффективности уже используемых моделей. Системы AI внутри Zoho обрабатывают около six billion API calls в месяц при ограниченном бюджете GPU, поэтому оптимизация стала практической необходимостью. Среди используемых техник Ramamoorthy упомянул Quantization, KV cache management, Continuous batching и Speculative decoding. По его словам, для команд с ограниченными ресурсами главный шанс в AI сегодня связан не только с созданием собственных моделей, но и с тем, насколько эффективно можно запускать уже существующие.