К содержанию
hegai.media
Новости

Amazon Bedrock получил автоматическую доработку политик Automated Reasoning

Инфографика: 99% точность верификации
Графика: hegai.media

Amazon добавила в Amazon Bedrock функцию автоматической доработки политик Automated Reasoning. Раньше настройка таких политик требовала ручного цикла: диагностика ошибок, редактирование правил и повторное тестирование. Теперь система автоматизирует этап diagnose-and-fix. Она сама определяет причину проваленных тестов и предлагает исправления на уровне формальной логики. Все изменения перед применением должен подтвердить пользователь.

Как сообщает AWS Machine Learning Blog, в сервисе появились два режима доработки: Iterative Refinement для проблем с логическими правилами и Ambiguous Variable Refinement для неоднозначностей при интерпретации языка. Для обоих сценариев Amazon описала полный рабочий процесс через API и консоль, включая запуск проверки, отслеживание статуса и получение результатов.

Automated Reasoning checks в Amazon Bedrock Guardrails переводят естественный язык в формальную логику, после чего проверяют ответы с помощью методов автоматизированного вывода. Система может возвращать результаты VALID, INVALID, SATISFIABLE, IMPOSSIBLE или TRANSLATION_AMBIGUOUS. По данным Amazon, если естественный язык удается однозначно перевести в формальную логику, точность верификации может достигать 99%.

В материале также описаны два типа ошибок при тестировании политик. В первом случае проблема связана с самими правилами: они бывают слишком строгими, слишком мягкими или неполными. Во втором ошибка возникает из-за неоднозначного перевода естественного языка в переменные политики, когда разные интерпретации приводят к разным результатам проверки.

Ключевые факты

  • В Amazon Bedrock доступны два режима доработки: Iterative Refinement и Ambiguous Variable Refinement

  • Automated Reasoning checks могут возвращать результаты VALID, INVALID, SATISFIABLE, IMPOSSIBLE и TRANSLATION_AMBIGUOUS

  • Система использует двухэтапную схему проверки: перевод естественного языка в переменные и последующую валидацию правил

  • По данным Amazon, при однозначном переводе в формальную логику точность верификации достигает 99%

Вопросы и ответы

Что именно автоматизировали в Bedrock и где всё ещё нужен человек?

Amazon убрала ручной цикл из диагностики ошибок, правки правил и повторного тестирования: Automated Reasoning теперь сам определяет причину проваленного теста и предлагает исправления на уровне формальной логики. Применение изменений не автоматическое, все правки пользователь должен подтвердить вручную.

Какие типы ошибок система умеет исправлять и чем отличаются режимы доработки?

В Bedrock появились два режима: Iterative Refinement для проблем в логических правилах, например слишком строгих или неполных политик, и Ambiguous Variable Refinement для случаев, когда естественный язык неоднозначно переводится в переменные политики и даёт разные результаты проверки.

Насколько надёжна проверка политик и какие статусы может вернуть система?

Проверка работает в два этапа: сначала естественный язык переводится в формальную логику, затем правила валидируются методами автоматизированного вывода. Система возвращает статусы VALID, INVALID, SATISFIABLE, IMPOSSIBLE и TRANSLATION_AMBIGUOUS, а при однозначном переводе в формальную логику точность верификации, по данным Amazon, достигает 99%.

Контекст по теме