Алгоритмы для оценки заемщиков, найма сотрудников и расчета страховых тарифов могут воспроизводить предубеждения, которые уже есть в исторических данных. Формально нейросеть не принимает решения по признаку пола или расы, но обучается на массивах информации, где отражены последствия многолетней дискриминации.
Как сообщает Hi-Tech Mail (Hi-Tech Mail.ru), одним из самых обсуждаемых примеров стал скандал вокруг Apple Card в США в 2019 году. Пользователи заявляли, что алгоритм Goldman Sachs устанавливал женщинам кредитные лимиты заметно ниже, чем мужчинам с сопоставимым доходом и кредитной историей. Разработчик Дэвид Хайнемайер Ханссон писал в Twitter, что получил лимит в 20 раз выше, чем его жена, хотя они подают совместную налоговую декларацию, а ее кредитный рейтинг был лучше.
После жалоб Департамент финансовых услуг Нью-Йорка изучил данные по 400 тысячам заявок. Расследование показало неоднозначную картину: формально Goldman Sachs не нарушил запрет на прямую дискриминацию. При этом сам случай стал показательным примером того, как автоматизированные системы способны воспроизводить уже существующие перекосы в данных.
Ключевые факты
Скандал вокруг Apple Card произошел в США в ноябре 2019 года
Дэвид Хайнемайер Ханссон заявил, что получил кредитный лимит в 20 раз выше, чем его жена
Департамент финансовых услуг Нью-Йорка проанализировал данные по 400 тысячам заявок
По данным расследования, Goldman Sachs формально не нарушил запрет на прямую дискриминацию