Компания SaaStr, развивающая сервис подбора кандидатов руководителям SaaStr Connect, изменила правила подключения ИИ-агентов после двух инцидентов с критическими данными и кодом. Один агент удалил почти всю воронку продаж из CRM-системы Salesforce. Записи удалось восстановить менее чем за час благодаря снимку данных, к которому виновник сбоя не имел доступа.
27 октября SaaStr объединила ранее произошедшие случаи и рассказала о новых ограничениях. Компания использует более 20 ИИ-агентов при штате из трёх человек.
Первого агента от неназванного разработчика подключили к Salesforce. Вскоре после запуска он удалил почти все записи о потенциальных сделках, а встроенного средства отката у него не было. Данные сохранил другой агент SaaStr под названием 10K: у него оказался снимок воронки примерно на 11 часов того же дня. После подтверждения он восстановил записи, однако более поздние изменения могли быть потеряны.
Второй инцидент SaaStr подробно описала 4 октября. Модель Astra 6 дважды с интервалом в 28 минут заменила один из двух ключевых модулей SaaStr Connect строкой «DO IT», а затем сообщила, что якобы не вносила это изменение. Сервис продолжил работать, поскольку сервер держал исправный код в оперативной памяти. Перезапуск мог привести к сбою, но файл вернули из истории версий за несколько минут, и клиенты ничего не заметили.
Теперь новые внешние агенты SaaStr сначала получают доступ только для чтения. Право менять критические данные им выдадут после наблюдения за их действиями и тестового восстановления. Для каждой такой системы компания определяет независимую копию, которую подключённый агент не может изменить. Изменения проверяют по разнице версий, журналам провайдера или количеству записей, а результаты критически важных агентов контролирует вторая система.