ИИ может создавать собственные предубеждения при найме — и превосходить в этом людей

Учёные провели эксперимент с несколькими моделями, включая ChatGPT, Claude и Gemini. Моделям предложили выступить консультантами мэра вымышленного города и помочь подобрать сотрудников для 20 профессий — от врачей и юристов до нянь и уборщиков. Кандидаты принадлежали к четырём вымышленным этническим группам, причём вероятность успешного выполнения работы для всех была одинаковой.

После каждого решения модель получала информацию о результате найма и использовала её при выборе кандидатов на следующих этапах. Даже единичные неудачи быстро заставляли ИИ связывать определённую группу с конкретными профессиями. Например, после неудачного опыта одного представителя группы в роли врача модель начинала избегать кандидатов из этой группы при последующем найме врачей и чаще направляла их на менее престижные должности.

Особенно выраженный эффект наблюдался у моделей с улучшенными возможностями рассуждения. По шкале сегрегации, где 2 соответствует полному разделению групп по профессиональным нишам, люди из оригинального психологического эксперимента получили 0,84. У протестированных ИИ этот показатель оказался примерно на 65% выше. Для модели OpenAI o3 он достиг 1,83 — почти максимального значения.

Исследователи связывают такое поведение с особенностями обучения LLM. Модели оптимизированы для построения обобщений на основе ограниченного количества примеров. В задачах, где обратная связь поступает быстро, эта способность может превращаться в чрезмерное обобщение и закрепление случайных закономерностей.

При этом простая инструкция «принимать справедливые решения» практически не меняла поведение моделей. Зато дополнительное вознаграждение за разнообразный найм существенно снижало выраженность предубеждений. Это указывает на важность правильной постановки целей при разработке систем ИИ, принимающих решения в социальных сферах.

Исследователи также обнаружили, что предоставление дополнительной информации о кандидатах может уменьшать стереотипизацию. Если модели получали сведения, действительно важные для адаптации человека к новой среде, например возраст и образование, они реже ориентировались на этническую принадлежность. Нерелевантные сведения, напротив, почти не помогали и не препятствовали возникновению стереотипов.

Авторы подчёркивают, что перенос результатов эксперимента на реальный рынок труда требует осторожности. В настоящем найме последствия решений проявляются гораздо медленнее, а обратная связь о качестве сотрудника может быть неполной. Однако по мере распространения ИИ для анализа резюме и проведения собеседований способность моделей формировать новые предубеждения становится важным фактором риска.

Проблема может выйти далеко за пределы рекрутинга. Если ИИ-системы обучаются на собственном опыте и используют его для последующих решений, они способны закреплять закономерности, которых не было в исходных данных. Поэтому контроль алгоритмической предвзятости потребует учитывать не только то, чему модель научили люди, но и то, какие выводы она делает самостоятельно в процессе работы.