Cursor и Together AI развернули стек инференса реального времени для работы агентoв в редакторе
Together AI объявила о сотрудничестве с Cursor. Компании создают стек инференса реального времени, который обеспечивает быструю и стабильную работу агентов прямо в редакторе. Основной фокус партнёры сделали на инфраструктуре, способной дать низкую задержку и при этом масштабироваться.
В продакшен уже выведена платформа NVIDIA Blackwell (B200/GB200). Команда также оптимизировала ARM hosts и kernels. Чтобы сократить задержки и быстрее внедрять модели, применили квантование FP4/TensorRT.
В Together AI говорят, что такой стек позволяет агентам внутри редактора быстро отвечать и сохранять стабильность при работе в реальном времени.
Ключевые факты
Together AI и Cursor совместно разработали стек инференса в реальном времени для обеспечения быстрой и надёжной работы агентов прямо в редакторе кода.
В инфраструктуре инференса введена в промышленную эксплуатацию архитектура NVIDIA Blackwell с чипами B200 и GB200.
Для снижения задержек оптимизированы ARM‑хосты и ядра системы.
В стеке используются квантование FP4 и TensorRT для ускорения инференса и более быстрых развёртываний моделей.