Исследователи Microsoft предупреждают о растущей «непрозрачности» сложных систем ИИ
По мере усложнения моделей искусственного интеллекта растёт риск того, что исследователи называют «операционной непрозрачностью». Система может оставаться предсказуемой по результатам, но её внутренняя логика становится всё менее понятной для людей.
Главный научный сотрудник Microsoft Эрик Хорвиц и исследователь EPFL Роберт Вест говорят о нарастающем дисбалансе: ИИ всё лучше понимает человека, тогда как человеку всё труднее разобраться в том, как именно работает сам ИИ. Как сообщает iXBT, по их оценке развитие современных систем идёт настолько быстро, что осмысление их внутреннего устройства начинает заметно отставать.
Исследователи подчёркивают, что дело не в количестве параметров или строк кода. Проблема глубже. Снижается уровень понимания, который нужен для контроля поведения систем и для выявления потенциальных рисков до того, как они перерастают в системные и трудноустранимые.
Ситуацию усложняет ещё один фактор: ИИ всё чаще используют для разработки и улучшения других ИИ‑моделей. Возникает рекурсивный цикл, который ускоряет прогресс. Одновременно уменьшается интуитивная понятность процессов, происходящих внутри высокоразмерных вычислительных пространств.
Отдельный риск появляется при взаимодействии ИИ‑агентов в сложных средах. Обмениваясь информацией, такие системы могут постепенно уходить от человеческих языковых и логических моделей. Формируется состояние, которое исследователи называют «интеракционной непрозрачностью». Поведение системы остаётся согласованным внутри, но извне его становится трудно интерпретировать.
Особенно это относится к долгоживущим адаптивным ИИ‑агентам. Со временем они формируют подробные модели поведения пользователей, включая предпочтения, страхи, неопределённость и социальные потребности. В итоге возникает асимметрия: системы всё точнее понимают людей, тогда как способность людей интерпретировать и направлять работу этих систем может постепенно снижаться.
Ключевые факты
Главный научный сотрудник Microsoft Эрик Хорвиц и исследователь EPFL Роберт Вест предупредили о формирующемся дисбалансе между тем, как ИИ понимает человека, и тем, как человек понимает ИИ.
Исследователи описывают явление «операционной непрозрачности», при котором система остаётся предсказуемой по результатам, но её внутренние механизмы становятся всё менее объяснимыми для человека.
В работе отмечается, что современные ИИ всё чаще используются для разработки и улучшения других ИИ‑моделей, что ускоряет прогресс, но усложняет интуитивное понимание происходящих внутри процессов.
Учёные также предупреждают о «интеракционной непрозрачности», возникающей при обмене информацией между ИИ‑агентами, когда их коммуникация может отходить от человеческих языковых и логических моделей.