Перегрузка инструментами в MCP ломает AI‑агентов, разработчики ищут способ сократить контекст

Подключение больших API к AI‑агентам через Model Context Protocol (MCP) может неожиданно упереться в ограничение контекстного окна модели. Если взять крупный производственный API с тысячами endpoint’ов и превратить каждый из них в отдельный инструмент MCP, одни только описания занимают около 1.1 million tokens. В результате рабочая память агента оказывается заполнена ещё до того, как он начинает разбирать пользовательский запрос. Модели просто не остаётся места для рассуждений и ответа.

Причина в масштабе самих API‑спецификаций. Документация большого API может достигать 2.3 million tokens, после преобразования в инструменты MCP объём сокращается примерно до 1.1 million tokens, но это всё равно слишком много. Типичное производственное context window языковых моделей находится в диапазоне около 100,000–200,000 tokens, поэтому такие объёмы просто не помещаются в память. Как отмечается в материале Towards AI, с этой проблемой уже сталкиваются сотни команд, которые пытаются подключить агентов к собственным API.

Популярная попытка решения состоит в том, чтобы разделить один большой MCP‑сервер на несколько меньших, например отдельно для email, баз данных или аналитики. На практике это создаёт новые сложности. Пользователю приходится заранее выбирать сервер, хотя он не всегда понимает, какие функции понадобятся. Кроме того, покрытие получается неполным. Скажем, сервер продукта может давать шесть инструментов, тогда как полный API содержит тридцать endpoint’ов, и двадцать четыре из них остаются для агента недоступными.

Описываемый подход к решению строится на идее progressive discovery, когда возможности подгружаются только в нужный момент. Рассматриваются разные варианты. В одном случае агент работает через CLI и получает доступ к shell. В другом используется поиск инструментов с подгрузкой небольшого релевантного набора. Есть и режим code mode: агент не получает список инструментов и пишет нужный код самостоятельно. В одном из предложений агентам передают TypeScript types вместо инструментов. Это открывает доступ к более чем 2,600+ API при использовании менее 1,000 tokens контекста.