Риски ИИ для бизнеса: от галлюцинаций до юридической ответственности
ИИ не «восстанет» — он подведёт буднично: выдумает факт, который вы вставите в коммерческое предложение, утащит ваш код на чужой сервер или скажет клиенту неправду, за которую заплатите вы. Разбираем четыре реальных класса рисков с судебными прецедентами и цифрами — без сценариев из фантастики.
Масштаб проблемы в цифрах
Кому это важно прочитать
- Основателям и операторам, которые уже встроили ИИ в продукт или поддержку и отвечают за последствия
- Юристам и комплаенс-офицерам, оценить периметр ответственности за слова и ошибки модели
- Руководителям, которым продают «ИИ-трансформацию» под обещание мгновенной отдачи
- CISO и службам безопасности, закрыть канал утечки данных через публичные нейросети
Риск 1. Галлюцинации: модель врёт уверенно
Галлюцинация, это правдоподобный, грамотно сформулированный, но ложный ответ. Опасность не в том, что модель ошибается, а в том, что она ошибается с той же интонацией, что и когда права. Человек теряет бдительность.
В юридической сфере это измерили точно. Исследование Stanford RegLab и Института человекоориентированного ИИ (HAI) «Large Legal Fictions» (2024) показало: на конкретных проверяемых вопросах о реальных федеральных делах модели выдумывали ответ в 58–88% случаев, в зависимости от модели и сложности запроса. Чем сложнее юридический вопрос, тем выше частота вымысла. Модели к тому же плохо осознают, когда галлюцинируют, и не всегда поправляют ложную посылку в вопросе пользователя.
Для бизнеса это значит простое: цифру в финмодели, пункт договора, ссылку на ГОСТ или норму закона, выданные нейросетью, нельзя вставлять в документ без проверки. Особенно опасны выдуманные ссылки, они выглядят настоящими: правильный формат, правдоподобное название, несуществующий источник.
Риск 2. Утечка данных: вы сами отдаёте секреты
Самая частая утечка через ИИ, не взлом, а добровольная вставка. Сотрудник копирует кусок кода, фрагмент договора или клиентскую базу в публичный чат-бот, чтобы «быстро разобраться». Данные уходят на сервер вендора.
Канонический случай, Samsung. По данным Bloomberg и CNBC, менее чем за 20 дней после того, как компания разрешила инженерам использовать ChatGPT, произошло три отдельных инцидента: в модель загрузили исходный код, алгоритмы выявления дефектов оборудования и расшифровку внутренней встречи. Samsung запретила публичные генеративные сервисы на корпоративных устройствах. До неё доступ к ChatGPT ограничивали JPMorgan и Amazon.
К добровольной утечке добавляется атака. В рейтинге OWASP Top 10 для LLM (2025) prompt injection держит первое место с момента появления списка: вредоносная инструкция, спрятанная в тексте, который читает модель (письмо, документ, веб-страница), может заставить ИИ-агента выдать данные или выполнить нежелательное действие. Для российского бизнеса поверх этого лежит 152-ФЗ: передача персональных данных в иностранный сервис без законных оснований, это уже нарушение, а не просто риск утечки.
⛔ Как это ломается на практике
- Менеджер вставляет в КП «среднюю по рынку» цифру, которую выдумала модель. Клиент проверяет, доверие к компании рушится.
- Юрист подаёт в суд документ со ссылками на дела, которых не существует. Итог, санкции суда и репутационный удар (реальные кейсы Mata v. Avianca и десятки последующих).
- Разработчик скидывает в публичный чат-бот фрагмент проприетарного кода с ключами доступа. Секрет покидает периметр компании навсегда.
- Чат-бот поддержки обещает клиенту скидку или условие, которого нет в правилах. Компания оказывается обязана это исполнить, так было с Air Canada.
Риск 3. Юридическая ответственность: за слова бота платит компания
Ключевой прецедент, Moffatt v. Air Canada (Civil Resolution Tribunal, Британская Колумбия, февраль 2024). Пассажир спросил у чат-бота на сайте авиакомпании про тариф для летящих на похороны. Бот ответил, что скидку можно оформить задним числом. Это было неправдой, другая страница сайта говорила обратное.
Air Canada защищалась тем, что чат-бот, «отдельная сущность», отвечающая сама за себя. Трибунал это отклонил прямо: компания отвечает за всю информацию на своём сайте, неважно, статичная это страница или чат-бот. Пассажиру присудили компенсацию (около 650 канадских долларов плюс проценты и сборы). Сумма мелкая, прецедент важен.
Второй фронт, суды над юристами за ИИ-вымысел. В деле Mata v. Avianca (Южный округ Нью-Йорка, 2023) адвокаты подали документ со ссылками на несуществующие дела, сгенерированные ChatGPT; суд оштрафовал их и фирму на 5000 долларов. Дальше это стало эпидемией: счёт задокументированных случаев санкций за ИИ-галлюцинации в судебных документах идёт на сотни и продолжает расти. Логика судов одна: ответственность несёт человек, подписавший документ, а не инструмент.
Российский контекст. Жёсткого закона «Об ИИ» пока нет, он в стадии межведомственного согласования. Действует «мягкое право»: Кодекс этики в сфере ИИ (2021), к которому присоединились Сбер, Яндекс, VK и другие. Кодекс закрепляет принцип, который и так очевиден из судебной практики: ответственность за решения ИИ остаётся на человеке и организации.
Где какой риск выше: карта по типам задач
| Задача | Что делает AI | Что делает человек | Риск автоматизации | KPI |
|---|---|---|---|---|
| Черновик письма, рерайт, brainstorming идей | Генерирует варианты, ускоряет в разы | Беглая вычитка тона и фактов | низкий | Время на черновик |
| Суммаризация внутреннего документа (не секретного) | Сжимает текст, выделяет главное | Проверка ключевых выводов по оригиналу | средний | Точность выжимки |
| Юридический или финансовый текст со ссылками на нормы и цифры | Готовит каркас, подсказывает структуру | Проверка каждой ссылки и цифры по первоисточнику | высокий | Доля верных ссылок |
| Автономный ответ клиенту от лица компании | Отвечает в рамках жёсткого сценария и базы знаний | Эскалация спорных случаев на человека | высокий | Доля верных обещаний |
| Обработка персональных данных или коммерческой тайны | Только в контуре с контролем данных, не публичный сервис | Запрет вставки секретов в публичные чат-боты | высокий | Инциденты утечки |
Риск 4. Провал внедрения: деньги вложены, отдачи нет
Самый недооценённый риск, не катастрофа, а тишина. Бюджет потрачен, пилот запущен, эффекта в отчётности не видно.
Исследование MIT «The GenAI Divide: State of AI in Business» (2025), построенное на интервью с руководителями, опросе сотрудников и анализе сотен публичных внедрений, дало жёсткую цифру: 95% пилотов генеративного ИИ не принесли измеримого эффекта в P&L. Причина, по выводам авторов, чаще не в качестве моделей, а в разрыве интеграции, инструмент не встроен в реальный рабочий процесс и не учится на нём.
Интересный контринтуитивный вывод того же отчёта: бюджеты льют в продажи и маркетинг, а наибольшая отдача, в бэк-офисе и автоматизации рутины. И покупка готового решения у профильного вендора срабатывает заметно чаще, чем попытка построить всё внутри.
Минимальный контур безопасности перед запуском ИИ
- Запретить вставку персональных данных и коммерческой тайны в публичные нейросети, зафиксировать это в политике и донести до сотрудников
- Назначить человека, который проверяет любой ИИ-вывод перед попаданием в документ, договор или ответ клиенту
- Любые цифры, ссылки и нормы из ИИ сверять с первоисточником, не доверять формату ссылки
- Для ответов клиентам от лица компании держать ИИ в жёстком сценарии с эскалацией спорных случаев на человека
- Начинать с задачи, у которой низкая цена ошибки и понятный измеримый эффект, а не с витринного флагмана
- Выбрать профильного вендора с контролем данных вместо самописного решения, если внутренней экспертизы нет
★ Что упускают в разговорах о рисках ИИ
Публичная дискуссия про риски ИИ застряла на сюжете «сверхинтеллект нас уничтожит». Это удобно: угроза абстрактная, отвечать ни за что не надо сегодня. Реальные деньги теряются на другом, на буднях.
Главный сдвиг в мышлении простой: ИИ не снимает ответственность, он её перемещает и концентрирует. Раньше ошибку делал конкретный сотрудник в конкретном документе. Теперь одна неверная инструкция в чат-боте умножается на тысячи клиентов, а юридически крайней остаётся компания, это и подтвердил суд в деле Air Canada.
Поэтому правильный вопрос при внедрении звучит не «насколько умна модель», а «что произойдёт, когда она ошибётся, и кто за это ответит». Если ответа нет, процесс к ИИ пока не готов, какой бы продвинутой ни была модель.
Сдвиг подхода: до и после зрелого внедрения
| Метрика | Было | Стало |
|---|---|---|
| Отношение к выводу ИИ | Готовый ответ, копируем | Черновик, проверяем ▲ |
| Где крайний при ошибке | Непонятно, «это же ИИ» | Назначен человек-контролёр ▲ |
| Данные в публичных сервисах | Как удобно сотруднику | Запрет на секреты, политика ▲ |
| Критерий старта пилота | Самая заметная задача | Низкая цена ошибки + измеримый эффект ▲ |
Зрелость измеряется не количеством моделей, а наличием контура контроля вокруг них.
Честные оговорки
- Цифры галлюцинаций (58–88%) относятся к моделям и тесту из исследования Stanford 2024 года на узкой юридической задаче, на других задачах и в более новых моделях частота иная.
- Прецедент Air Canada вынесен канадским трибуналом и в России напрямую не действует, но логика «компания отвечает за свой чат-бот» универсальна.
- Российский закон «Об ИИ» на момент публикации не принят; конкретные нормы ответственности могут измениться после его вступления в силу.
- Статья описывает классы рисков и подход к их снижению, но не заменяет консультацию юриста и аудит безопасности под ваш конкретный процесс.