Нидерландский регулятор оштрафовал Uber на €825 млн, или $966 млн, из-за автоматизированных блокировок водителей. Это не очередной сюжет о согласиях и галочках в политике приватности. Это ценник на продукт, который может лишить человека доступа к работе, но не гарантирует проверку решения человеком и возможность его обжаловать.
Что произошло
Как сообщает vc.ru со ссылкой на Reuters, речь идёт о блокировках аккаунтов водителей Uber в 2020-2022 годах. Автоматизированные системы могли ограничивать доступ при подозрениях в мошенничестве.
Например, алгоритм мог посчитать, что водитель намеренно выбрал более длинный маршрут, чтобы увеличить стоимость поездки, или принял заказ, не собираясь его выполнять. По данным Reuters, GDPR запрещает принимать решения, которые существенно влияют на жизнь человека, без проверки со стороны человека и возможности обжалования.
Uber с решением не согласилась, назвала штраф несоразмерным и намерена его обжаловать. Поэтому окончательная сумма ещё может стать предметом спора. Но продуктовый сигнал уже невозможно развидеть: автоматическая блокировка исполнителя больше не выглядит как дешёвая функция антифрода. Потенциальная цена ошибки приблизилась к миллиарду долларов.
Модель здесь не помощник, а начальник
Пока ИИ сортирует обращения или подсказывает оператору ответ, ошибку можно перехватить до того, как она ударит по пользователю. Когда система блокирует аккаунт, увольняет сотрудника или ограничивает доступ к заказам, она фактически принимает управленческое решение. Кнопка с надписью «автоматизация» этого не меняет.
Именно здесь многие продукты собраны опасно просто: есть сигнал модели, порог риска и действие. Если оценка выше порога, аккаунт закрывается. Для борьбы с мошенничеством такая схема выглядит соблазнительно: быстро, одинаково для всех и без дорогой ручной проверки. Но кейс Uber показывает, что экономия на процедуре может оказаться фиктивной.
Для бизнеса вывод жёсткий: нельзя считать систему готовой только потому, что модель научилась находить подозрительное поведение. Готовым должен быть весь контур принятия решения.
Я бы закладывал в него как минимум четыре элемента.
Первый, фиксируемое основание. Компания должна уметь восстановить, какой сигнал привёл к ограничению и какое правило сработало. Иначе человеческий пересмотр превращается в гадание по интерфейсу.
Второй, журнал решения. Нужно сохранять не только итоговый статус, но и данные, на которых он был основан, версию логики и последующие действия. Это уже не украшение админки, а способ доказать, что процесс вообще был управляемым.
Третий, реальный human review. Не сотрудник, который видит ту же красную плашку и механически нажимает «подтвердить», а человек с доступом к основанию блокировки и возможностью отменить её. Если оператор не может спорить с системой, проверки человеком по существу нет.
Четвёртый, апелляция. Исполнитель или сотрудник должен понимать, что ему вменяют, какие данные можно уточнить и куда отправить возражение. Формальная кнопка поддержки, после которой приходит автоматический отказ, проблему не решает.
Доступ к данным здесь нужен не как жест доброй воли. Это практическое условие осмысленного спора: невозможно опровергнуть решение, если человеку неизвестно, какой маршрут, заказ или действие система сочла подозрительным. Это уже моя продуктовая интерпретация кейса, а не отдельное требование, приведённое Reuters. Но без неё апелляция рискует остаться ритуалом.
Бюджет ИИ-продукта придётся считать честнее
Для российских компаний этот штраф не означает автоматического появления тех же правил. Но владельцам платформ и корпоративных HR-систем опасно ждать, пока аналогичный подход оформится в каждой нужной юрисдикции. Переделывать контур после запуска обычно сложнее, чем сразу отделить рекомендацию модели от окончательного решения.
В смете такого продукта должны появиться хранение истории, интерфейс пересмотра, очередь апелляций, полномочия оператора и контроль сроков. Иначе компания покупает не автоматизацию управления, а непрозрачный автомат с рубильником.
Следить теперь стоит не только за итогом обжалования Uber, но и за тем, начнут ли платформы публично описывать процедуру человеческого пересмотра автоматических блокировок. Если в продуктовых интерфейсах появятся конкретные основания решения, доступные данные и понятный маршрут апелляции, значит риск услышан. Если останется только кнопка «обратиться в поддержку», рынок пока меняет вывеску, а не процесс.