GitHub Copilot улучшает работу с контекстом и автоматический выбор моделей
GitHub рассказал об изменениях в работе Copilot, направленных на более эффективное использование токенов во время длительных сессий. По мере того как Copilot выполняет больше агентных задач, от планирования и редактирования до отладки, ревью и вызова инструментов, важным становится не только сокращение количества токенов, но и более разумное использование контекста и ресурсов моделей.
В GitHub Copilot для VS Code обновлён механизм harness, который подготавливает для модели повторяющуюся информацию: инструкции, контекст репозитория, историю диалога, доступные инструменты и текущее состояние задачи. Часть этих данных теперь может кэшироваться, откладываться или загружаться только при необходимости. В частности, prompt caching позволяет повторно использовать состояние модели для одинаковых префиксов промптов, а tool search загружает определения инструментов по запросу вместо передачи полной схемы инструментов на каждом шаге. Это особенно важно для сессий, где используются MCP tools, terminal commands, file operations, workspace search и product-specific actions.
Компания также развивает механизм Auto, который автоматически выбирает модель под конкретную задачу. После первого запроса Copilot анализирует намерение задачи и текущее состояние моделей, чтобы определить подходящий вариант. Разные типы работы, quick explanations, focused edits или multi-file changes, требуют разного уровня рассуждения, поэтому Auto принимает решение без необходимости вручную настраивать параметры.
В основе выбора лежат два сигнала: текущее состояние моделей и характер задачи. Для оценки состояния используется система, отслеживающая availability, utilization, speed, error rates и cost. Второй компонент, модель маршрутизации HyDRA, которая учитывает reasoning depth, code complexity, debugging difficulty и потребности в tool orchestration. Она определяет модели, способные обеспечить нужное качество, после чего выбирает наиболее подходящую.
Ключевые факты
В GitHub Copilot для VS Code внедрены улучшения в механизме работы сессий: prompt caching повторно использует состояние модели для одинаковых префиксов запроса вместо повторного вычисления.
Функция tool search позволяет загружать определения инструментов по требованию, а не отправлять полную схему всех инструментов в контекст модели на каждом шаге.
Функция Auto в GitHub Copilot автоматически выбирает модель после первого запроса, учитывая намерение задачи и текущее состояние моделей.
Маршрутизация моделей в Auto использует два сигнала: текущее состояние моделей (доступность, загрузка, скорость, ошибки и стоимость) и модель маршрутизации HyDRA, оценивающую глубину рассуждения, сложность кода, сложность отладки и потребность в инструментах.