AWS выпустила открытый инструмент Model Profiler для сравнения моделей в Amazon Bedrock

AWS представила open source-приложение Amazon Bedrock Model Profiler для подбора и сравнения foundation models в Amazon Bedrock. Сервис собирает метаданные о моделях из нескольких AWS API и внешних источников в одном интерфейсе. В нем доступны поиск, фильтры, сравнение моделей и карточки с характеристиками. Как пишет AWS Machine Learning Blog, инструмент рассчитан на команды, которым нужно оценивать модели по возможностям, стоимости, региональной доступности, ограничениям контекстного окна и параметрам пропускной способности.

В Amazon Bedrock доступно более 100 foundation models от Anthropic, OpenAI, Meta (деятельность Meta признана экстремистской и запрещена в РФ), Mistral AI, Cohere и Amazon. Model Profiler показывает карты региональной доступности, ограничения TPM и RPM, а также разбивку цен с ежедневным обновлением. Данные сервис получает из семи источников: пяти AWS API и двух публичных URL. Среди них AWS Price List API, AWS Service Quotas API и база моделей LiteLLM.

Архитектура сервиса построена на AWS Step Functions и 17 функциях AWS Lambda. Чтобы сократить число обращений к API, используется кеширование через S3. За одно выполнение количество вызовов уменьшается примерно с 480 до 29, это соответствует 97% cache hit rate. AWS также заявляет о self-healing agentic system на базе Amazon Bedrock, которая обнаруживает пробелы в данных и автоматически применяет безопасные изменения конфигурации. Полный цикл обновления каталога занимает 8–12 минут и запускается ежедневно в 6:00 UTC.