Почему алгоритмы оценки заемщиков могут воспроизводить гендерные предубеждения

Алгоритмы для оценки заемщиков, найма сотрудников и расчета страховых тарифов могут воспроизводить предубеждения, которые уже есть в исторических данных. Формально нейросеть не принимает решения по признаку пола или расы, но обучается на массивах информации, где отражены последствия многолетней дискриминации.

Как сообщает Hi-Tech Mail (Hi-Tech Mail.ru), одним из самых обсуждаемых примеров стал скандал вокруг Apple Card в США в 2019 году. Пользователи заявляли, что алгоритм Goldman Sachs устанавливал женщинам кредитные лимиты заметно ниже, чем мужчинам с сопоставимым доходом и кредитной историей. Разработчик Дэвид Хайнемайер Ханссон писал в Twitter, что получил лимит в 20 раз выше, чем его жена, хотя они подают совместную налоговую декларацию, а ее кредитный рейтинг был лучше.

После жалоб Департамент финансовых услуг Нью-Йорка изучил данные по 400 тысячам заявок. Расследование показало неоднозначную картину: формально Goldman Sachs не нарушил запрет на прямую дискриминацию. При этом сам случай стал показательным примером того, как автоматизированные системы способны воспроизводить уже существующие перекосы в данных.