ДискримИИнация по ошибке

Алгоритмы, управляющие бизнес-процессами, все чаще оказываются под пристальным вниманием не из-за прорывных технологий, а из-за предвзятости. Когда решение принимает не человек, а система, компании надеются на беспристрастность и эффективность. Однако на практике искусственный интеллект лишь воспроизводит и масштабирует те перекосы, которые содержатся в исходных данных или закладываются разработчиками неосознанно. При этом ответственность — и юридическая, и репутационная — ложится все же на бизнес.

Выйти из полноэкранного режима

Развернуть на весь экран

Как объясняет директор по ИИ корпорации «Синергия» и эксперт Альянса в сфере искусственного интеллекта Андрей Комиссаров, алгоритмы так или иначе обучаются — либо заранее на фиксированных датасетах, либо в процессе использования, на живых данных. Если в исходной выборке присутствуют перекосы, например, собранные из соцсетей и не прошедшие фильтрацию, то они будут встроены в поведенческую модель, продолжает он. «Если данные, соответственно, проблемные, то алгоритм будет в этом смысле дискриминировать», — констатирует он.

При этом дискриминация может возникать из-за трех вещей, отмечает Комиссаров: первое, изначальное обучение на датасете с дискриминационными примерами. Второе, перечисляет он, когда машина дообучается на данных с подкреплением определенного типа дискриминативного поведения и тогда обучается дискриминировать. В-третьих, продолжает эксперт, когда дискриминация связана с определенной ошибкой, возникающей в шаблоне: «Если машина привыкла работать по шаблону, а он идет с ошибкой, то у вас будет шаблонизированная дискриминация».

С ним солидарен гендиректор Dbrain Алексей Хахунов: «Все наши предвзятости и дискриминации — это не вина алгоритмов, а вина данных, которые мы взяли от людей». Он отмечает, что такие эффекты сложно заранее отследить — дискриминация становится заметной лишь тогда, когда с ней кто-то сталкивается напрямую. Однако проблема не только в природе данных, но и в том, как потребители воспринимают цифровые решения, отмечает Хахунов: от машин ждут беспристрастности, а разоблачение алгоритмической несправедливости вызывает эффект обмана. «Скандал, вызванный ИИ-системой, почти всегда громче и юридически дороже, чем аналогичный эпизод с человеком, хотя ущерб может быть значительно ниже», — подчеркивает Хахунов.

Директор департамента расследований T.Hunter Игорь Бедеров также указывает, что даже при отсутствии дискриминационных установок алгоритмы могут воспроизводить системные перекосы. Например, Amazon в 2018 году отказался от ИИ для найма, когда выяснилось, что алгоритм занижает рейтинг женщин-кандидатов, если в обучающей выборке преобладают резюме мужчин на топ-позициях.

Кроме того, продолжает он, алгоритмы часто используют ложные корреляции, такие как связь почтового индекса с кредитоспособностью, что на практике превращается в дискриминацию по косвенным признакам. При этом ИИ-дискриминация опаснее человеческой, так как она воспринимается как системная ошибка, а не единичный случай, что подрывает доверие к компании, добавляет он. Ее труднее оспорить и почти невозможно игнорировать, когда негативные эффекты касаются тысяч пользователей одновременно, подчеркивает Бедеров.

Тем не менее заместитель директора Центра научно-технологической политики МГУ имени М. В. Ломоносова Тимофей Воронин считает, что предвзятость ИИ обусловлена в первую очередь неправильным или недостаточным обучением. «Ярким примером служит ситуация, когда чат-боты поддержки учились во время общения с пользователями, а затем отвечали пользователям оскорблениями или с использованием нецензурной лексики»,— рассказывает эксперт. Многие случаи алгоритмической предвзятости выявляются уже после запуска продукта, что делает важным постоянный сбор обратной связи от пользователей, подчеркивает он.

За рубежом же подобных прецедентов по предвзятости ИИ уже десятки, отмечает Хахунов. В 2022 году Meta (признана экстремистской в России и запрещена) заключила мировое соглашение с Минюстом США после того, как алгоритм таргетинга объявлений по жилью оказался расово предвзятым. Или же в 2023 году ИИ в iTutorGroup отклонял резюме кандидатов старше 55 лет, в результате чего компания выплатила $365 тыс.

По словам Хахунова, западные компании для выявления скрытой дискриминации в алгоритмах используют тесты справедливости, контрафактуальные проверки (например, подмена пола или этничности в профиле и анализ результата), стресс-тесты на синтетических данных, а также прибегают к услугам внешних аудиторов. В США, например, вступил в силу закон Нью-Йорка, обязывающий публиковать отчет независимого эксперта перед использованием ИИ-систем найма.

«Ни один алгоритм не стартует с предвзятостью — она просачивается из данных, метрик и процессов. Но ответственность теперь юридически закреплена: “я не знал, что модель дискриминирует” больше не защита, — подчеркивает Хахунов. — Компании, которые встроят регулярный fairness-аудит, документацию и независимую проверку сегодня, завтра сэкономят деньги и бренд».

На Западе культура судебных исков по дискриминации сама по себе более развита, особенно среди афроамериканского населения, отмечает Комиссаров. Там предвзятость в алгоритмах чаще становится объектом расследования именно потому, что ее привыкли искать, уточняет собеседник. Российские же компании пока мало внимания уделяют вопросам скрытой дискриминации, сетует Комиссаров. В России пока чаще приходится иметь дело с последствиями: так, в 2021 году компанию Xsolla обвинили в массовом увольнении около 150 сотрудников по итогам «алгоритмического» отчета о невовлеченности — скандал стоил поста CEO и подорвал репутацию бренда. В том же году ФАС потребовала от «Яндекса» прекратить занижение позиций конкурентов в поисковой выдаче с помощью собственных алгоритмов.

Мария Орбелиани