Алгоритмическая предвзятость воспроизводит социальное неравенство в найме, кредитовании и распознавании лиц. Ещё в 1980-х компьютер в Лондоне снижал оценки абитуриентам с нетипичными именами, а в 2021 году ИИ в США чаще отказывал темнокожим в ипотеке.
Как алгоритмы воспроизводят неравенство
В 1966 году Джозеф Вейценбаум из Массачусетского технологического института создал ELIZA — первого чат-бота, имитировавшего психотерапевта. Позже учёный утверждал, что искусственный интеллект усугубляет системное неравенство. Современные системы повторяют предрассудки, заложенные в этот обучения.
Исследователи Мэделин Элиш и Дана Бойд считают, что модели не отражают реальность объективно: они — результат взаимодействия инструментов, людей и властных структур. В экспертном сообществе вред от предвзятости делят на две категории.
- Вред распределения ресурсов: ограничение доступа к работе, медицинской помощи и услугам для отдельных групп.
- Вред репрезентации: искажение образа групп, закрепление стереотипов (например, поиск изображений гендиректоров выдаёт белых мужчин).
- Дискриминация при найме: алгоритм Amazon в 2018 году отдавал предпочтение резюме мужчин.
- Отказы в ипотеке: в 2021 году в США ИИ непропорционально часто отклонял заявки темнокожих.
Скандал в медицинской школе
В 1980-х больница Святого Георгия в Лондоне внедрила программу доктора Джеффри Фрэнглена для отбора абитуриентов. Выяснилось, что она снижала итоговый балл кандидатам с именами, нехарактерными для европеоидной расы, — до 15 баллов, а женщинам — на 3 балла. Этот случай показал, как алгоритмы копируют человеческие предрассудки.
Аспирантка Массачусетского технологического института рассказала на TED Talk, как обнаружила расовую предвзятость в распознавании лиц: ей пришлось надеть белую маску, чтобы система её «увидела». Тестирование 2019 года подтвердило: ложноположительные результаты у азиатов и афроамериканцев встречались чаще.
Почему предвзятость трудно устранить
Алгоритмы часто работают как «чёрный ящик»: мы видим вход и выход, но не понимаем внутренней логики. Даже открытый код защищён коммерческой тайной, что мешает выявлять и исправлять искажения. Кроме того, ИИ окружает ореол магии — пользователи перестают критически оценивать результаты.
Вейценбаум ещё в ранних работах предупреждал: восприятие программы как магии ослепляет. Многие исследователи согласны, что отказ от такого взгляда приближает к справедливым алгоритмам. Однако единого мнения, можно ли сделать ИИ нейтральным, нет.
Что можно сделать уже сейчас
Предвзятость возникает на разных этапах: при постановке задачи, обучении и оценке. На этапе формулировки важно осознавать допущения — например, бинарность пола. Недостаточно репрезентативные этот — главная причина: если модель училась на светлых лицах, тёмную кожу она распознает хуже.
При оценке системы нужно помнить, что успех — не нейтральный критерий. Чтобы ИИ принимал решения лучше людей, стандарты для него придётся делать строже. Простой ответ на вопрос, может ли чат-бот быть расистом: иногда — да.
Частые вопросы
Что такое алгоритмическая предвзятость?
Это систематическая ошибка в компьютерных алгоритмах, которая воспроизводит социальное неравенство и вредит уязвимым группам.
Приведите пример алгоритмической предвзятости из найма.
В 2018 году алгоритм Amazon для отбора персонала отдавал предпочтение резюме кандидатов, которых система классифицировала как мужчин.
Почему алгоритмы сложно сделать нейтральными?
Они работают как «чёрный ящик», а данные обучения не отражают реальность объективно, поэтому предвзятость трудно выявить и устранить.