Как Okara запускает CMO‑агентов для 120 000 компаний на инфраструктуре Vercel

Сервис Okara развивает AI CMO, систему управления маркетингом на базе набора специализированных суб‑агентов. Пользователь просто указывает URL сайта. После этого AI CMO формирует маркетинговую стратегию, задаёт бренд‑голос и запускает агентов, которые занимаются SEO, контентом и социальными сетями. По данным компании, такие агенты уже обеспечивают рост более чем для 120 000 бизнесов. В архитектуре системы восемь суб‑агентов: они работают с SEO, GEO, social, content, Reddit и Hacker News.

Команда Okara состоит всего из четырёх человек, при этом система обрабатывает 4 billion tokens в день. Изначально backend сервиса был связан с восемью model providers через отдельные SDK. У каждого была собственная система ключей, своя обработка изображений и разные edge cases. Когда начали подключать open‑source модели, подход стал быстро усложняться: под каждый новый model приходилось писать отдельный адаптер и поддерживать логику retry, fallback routing и мониторинг состояния провайдеров.

Эту часть инфраструктуры перенесли на Vercel AI Gateway. Один endpoint заменил отдельные интеграции, а retry logic и fallback handling переместились в routing layer Vercel, включая поддержку zero-data retention для secure chat. Okara также использует Vercel Sandboxes. Например, SEO‑агент может обнаружить техническую проблему на сайте, запустить анализ в изолированной среде, после чего coding agent создаёт pull request с исправлением, который проверяет разработчик. Команда выпускает обновления в production шесть или семь раз в день. Новые AI models могут появляться у пользователей в тот же день, когда они выходят.