Исследователи из Университета штата Пенсильвания и Колумбийского университета создали новый инструмент искусственного интеллекта (ИИ) для выявления несправедливой дискриминации, например, по признаку расы или пола.
Например, предотвращение несправедливого обращения с людьми по признаку расы, пола или этнической принадлежности является давней проблемой цивилизованного общества. Однако выявление такой дискриминации в результате решений, принимаемых лицами, принимающими решения, или автоматизированными системами искусственного интеллекта, может быть чрезвычайно сложной задачей. Эта проблема еще более усугубляется широким внедрением систем искусственного интеллекта для автоматизации решений во многих областях, включая полицейскую деятельность, финансовые услуги для физических лиц, высшее образование и бизнес.
«Системы искусственного интеллекта, такие как те, которые участвуют в отборе кандидатов на работу или при поступлении в университет, обучаются на больших объемах данных», - сказал Васант Хонавар (Vasant Honavar), профессор и заведующий кафедрой информационных наук и технологий из Университета штата Пенсильвания. «Но если эти данные являются предвзятыми, они могут повлиять на рекомендации систем ИИ».
Например, он сказал, что если компания исторически никогда не нанимала женщину для определенного типа работы, то система ИИ, обученная на этих исторических данных, не будет рекомендовать женщину для новой работы.
«Нет ничего плохого в самом алгоритме машинного обучения», - сказал Хонавар. «Он делает то, что должен делать, то есть выявляет хороших кандидатов на работу на основе определенных желательных характеристик. Но так как он был обучен на исторических, предвзятых данных, он может давать несправедливые рекомендации».
Команда создала инструмент ИИ для выявления дискриминации в отношении защищенного признака, такого как раса или пол, со стороны людей, принимающих решения, или систем ИИ, который основан на концепции причинности, в которой одна вещь - причина - вызывает другую вещь - следствие.
«Например, вопрос «Есть ли дискриминация по признаку пола в оплате труда?» можно перефразировать следующим образом: «Имеет ли пол причинно-следственный эффект на заработную плату?» или другими словами: «Будет ли зарплата женщины больше, если она будет мужчиной?» сказала Ария Хадеми (Aria Khademi), аспирант в области информационных наук и технологий из Университета штата Пенсильвания.
Поскольку невозможно напрямую узнать ответ на такой гипотетический вопрос, инструмент команды использует сложные алгоритмы контрфактуального вывода, чтобы прийти к лучшему предположению.
«Например, - сказала Ария Хадеми, - один из интуитивно понятных способов сделать правильный вывод о том, какой будет справедливая зарплата для работницы, - это найти работника мужского пола, который похож на женщину по квалификации, производительности и опыту». Мы можем свести к минимуму дискриминацию по заработной плате по признаку пола, если обеспечим, чтобы одинаковые мужчины и женщины получали одинаковую заработную плату».
Исследователи проверили свой метод, используя различные типы доступных данных, такие как данные о доходах Бюро переписи населения США, чтобы определить, существует ли дискриминация по признаку пола в оплате труда. Они также проверили свой метод, используя данные программы «остановить-и-обыскать» Департамента полиции Нью-Йорка, чтобы определить, есть ли дискриминация в отношении цветных людей при арестах, совершаемых после остановок. Результаты появились в мае в трудах веб-конференции Proceedings of The Web Conference 2019 года.
Останови и обыщи (Stop and frisk; Stop-Question-and-Frisk program) — полицейская практика в Нью-Йорке, при которой офицеры городской полиции останавливают и опрашивают сотни и тысячи пешеходов, обыскивая их на предмет оружия и контрабанды. Фото: Pixabay
«Мы проанализировали набор данных о доходах взрослого населения, содержащий информацию о заработной плате, демографии и занятости, для почти 50 000 человек», - говорит Хонавар. «Мы нашли доказательства дискриминации в оплате труда по признаку пола. В частности, мы обнаружили, что шансы женщины, имеющей зарплату более 50 000 долларов в год, составляют лишь одну треть от этого для мужчины. Это предполагает, что работодатели должны искать и исправлять когда это уместно, гендерный уклон в заработной плате».
Несмотря на то, что проведенный командой анализ набора данных об остановках и обысках в Нью-Йорке, который содержит демографическую и другую информацию о водителях, остановленных полицией Нью-Йорка, выявил свидетельства возможного расового предубеждения против выходцев из Латинской Америки и афроамериканцев, он не нашел никаких доказательств дискриминация против них в среднем как группы.
«Вы не можете исправить проблему, если не знаете, что проблема существует», - сказал Хонавар. «Чтобы избежать дискриминации по признаку расы, пола или других признаков, вам нужны эффективные инструменты для выявления дискриминации. Наш инструмент может помочь в этом».
Хонавар добавил, что, поскольку системы искусственного интеллекта, основанные на данных, все больше определяют, как предприятия ориентируют рекламные объявления на потребителей, как полицейские департаменты отслеживают отдельных лиц или группы на предмет преступной деятельности, как банки решают, кто получает кредит, кого работодатели решают нанять, и как колледжи и университеты решают, кто будет принят или получит финансовую помощь, то существует острая необходимость в таких инструментах, как тот, который он и его коллеги разработали.
«Наш инструмент, - сказал он, - может помочь гарантировать, что такие системы не станут инструментами дискриминации, барьеров на пути равенства, угроз социальной справедливости и источников несправедливости».
Источник: Phys.org / Pennsylvania State University
