PromptArmor предупредила о росте рисков при подключении AI-агентов к сторонним сервисам

Интеграции AI-агентов со сторонними сервисами, включая Gmail, Slack и Dropbox, усложняют контроль за безопасностью данных, заявили в PromptArmor. Как пишет The Register, исследователи изучили работу коннекторов в ChatGPT и Claude и пришли к выводу, что экосистема меняется слишком быстро, чтобы риски успевали надежно проверять.

По данным PromptArmor, за шесть недель, с середины мая до конца июня, изменился 931 из 2 517 коннекторов, это 37%. За тот же период в существующие коннекторы добавили 1 686 новых инструментов, а описания 1 127 инструментов переписали. В компании считают, что из-за такой динамики прежние представления о возможностях и ограничениях интеграций быстро теряют актуальность.

В качестве примера исследователи привели коннектор Dropbox. Число доступных инструментов выросло с восьми до 24. Инструментов с правом записи стало больше: их количество увеличилось с трех до десяти. Число потенциально деструктивных функций выросло с нуля до четырех. Кроме того, менялись уровни разрешений и появлялись встроенные инструкции для модели.

Еще один риск связан с тем, что коннекторы могут передавать данные другим AI-сервисам. PromptArmor проанализировала 7 517 инструментов в 487 коннекторах Claude и пришла к выводу, что 189 коннекторов, или около двух из пяти, вероятно обращаются к дополнительным AI-сервисам. В Anthropic при этом заявили, что обработка данных подключенными сервисами идет в их собственной инфраструктуре и не подпадает под настройки размещения инференса Claude.