Автоматизация найма с неожиданным уклоном
Как сообщает Reuters, компания Amazon разработала и внедрила инструмент на основе искусственного интеллекта для автоматизации процесса найма новых сотрудников. Целью было ускорить и оптимизировать поиск кандидатов. Однако проект был свёрнут после того, как внутри компании обнаружили, что алгоритм систематически дискриминирует женщин, отдавая предпочтение мужчинам.
Как работала система
В 2014 году инженерная команда Amazon приступила к созданию системы, которая должна была анализировать резюме и автоматически отбирать лучших кандидатов. Было создано 500 компьютерных моделей, которые обучались на исторических данных — тысячах резюме, подававшихся в компанию за предыдущие 10 лет. Система должна была выявлять закономерности и «запоминать», какие резюме в прошлом приводили к успешному найму.
По информации из администрации Amazon, идея заключалась в том, чтобы алгоритм мог, например, автоматически отбирать топ-5 резюме из сотни, экономя время рекрутеров.
Обнаруженный дефект и его причины
К 2015 году разработчики обнаружили критическую проблему: искусственный интеллект демонстрировал явную предвзятость против кандидатов-женщин. Причина, как полагают эксперты, крылась в данных для обучения. Поскольку за предыдущее десятилетие в технологическом секторе, и особенно в инженерных roles в Amazon, доминировали мужчины, система восприняла это как паттерн для успеха. Резюме, содержащие слова, ассоциирующиеся с женщинами (например, названия женских колледжей или слова вроде «капитан женской команды»), получали более низкие оценки. Алгоритм, по сути, научился дисквалифицировать женщин, считая их менее подходящими кандидатами на основе искажённых исторических данных.
Отказ от системы и реакция компании
Amazon окончательно отказался от использования этой системы автоматического найма в начале 2017 года, после того как менеджеры потеряли доверие к её объективности. В компании подчеркнули, что никогда не полагались на рекомендации ИИ на 100%, а использовали их лишь как вспомогательный инструмент. В официальном заявлении для Business Insider представители Amazon заверили, что компания привержена принципам разнообразия и равенства при найме и продолжает искать способы устранить любые предубеждения в своих процессах.
Этот случай стал ярким примером одной из ключевых проблем современного ИИ — «мусор на входе, мусор на выходе». Если алгоритм обучается на данных, содержащих человеческие предрассудки, он неизбежно их воспроизводит и даже усиливает, что ставит серьёзные этические и практические вопросы перед разработчиками подобных систем.