Новые исследования показали, что модели глубокого обучения, основанные на искусственном интеллекте (ИИ), могут определить чью-то расу только по рентгеновским снимкам, что было бы невозможно для врача-человека, смотрящего на те же изображения.
Полученные результаты поднимают некоторые тревожные вопросы о роли искусственного интеллекта в медицинской диагностике, оценке и лечении: может ли компьютерное программное обеспечение непреднамеренно применять расовую предвзятость при изучении подобных изображений?
Обучив свой ИИ с использованием сотен тысяч существующих рентгеновских изображений, помеченных сведениями о расе пациента, международная группа исследователей в области здравоохранения из США, Канады и Тайваня протестировала свою систему на рентгеновских изображениях, которые компьютерное программное обеспечение не видело раньше (и не имело дополнительной информации о них).
ИИ мог предсказать заявленную расовую принадлежность пациента на этих изображениях с удивительной точностью, даже если сканы были взяты у людей одного и того же возраста и пола. Система достигла уровня 90 процентов с некоторыми группами изображений.
«Мы стремились провести всестороннюю оценку способности ИИ распознавать расовую принадлежность пациента по медицинским изображениям», — пишут исследователи в своей опубликованной статье.
«Мы показываем, что стандартные модели глубокого обучения ИИ могут быть обучены прогнозировать расу по медицинским изображениям с высокой эффективностью в нескольких модальностях визуализации, что было подтверждено в условиях внешней проверки».
Исследование перекликается с результатами предыдущего исследования, которое показало, что сканирование рентгеновских изображений искусственным интеллектом с большей вероятностью пропускало признаки болезни у чернокожих. Чтобы остановить то, что произошло, ученые в первую очередь должны понять, почему это происходит.
По своей природе, ИИ имитирует человеческое мышление, чтобы быстро выявлять закономерности в данных. Однако это также означает, что он может невольно поддаться таким же предубеждениям. Что еще хуже, его сложность затрудняет распутывание предубеждений, которые мы вплетаем в него.
Сейчас, ученые не может ничего сказать определенного, почему система ИИ так хорошо определяет расу на изображениях, которые не содержат такой информации, по крайней мере, на поверхности. Даже когда предоставлена ограниченная информация, например, путем удаления подсказок о плотности костей или фокусировки на небольшой части тела, модели по-прежнему удивительно хорошо угадывали расу, указанную в файле.
Возможно, система находит признаки меланина, пигмента, придающего коже ее цвет, которые пока неизвестны науке.
«Наш вывод о том, что ИИ может точно предсказывать расовую принадлежность, о которой сообщают сами люди, даже по искаженным, обрезанным и зашумленным медицинским изображениям, часто, когда клинические эксперты не могут этого сделать, создает огромный риск для всех развертываний моделей в медицинской визуализации», — пишут исследователи.
Исследование дополняет растущее количество доказательств того, что системы искусственного интеллекта часто могут отражать предубеждения и предрассудки людей, будь то расизм, сексизм или что-то еще. Искаженные «косые» обучающие данные могут привести к таким же и результатам, что сделает их гораздо менее пригодными.
Необходимо балансировать с мощным потенциалом искусственного интеллекта, чтобы обрабатывать гораздо больше данных намного быстрее, чем люди, во всем, от методов обнаружения болезней до моделей изменения климата.
Остается много вопросов, оставшихся без ответа в исследовании, но сейчас важно знать о возможности проявления расовой предвзятости в системах искусственного интеллекта, особенно если мы собираемся передать им больше ответственности в будущем.
«Нам нужно взять паузу», — сказал изданию Boston Globe ученый-исследователь и врач Лео Энтони Чели (Leo Anthony Celi) из Массачусетского технологического института.
«Мы не можем спешить с внедрением алгоритмов в больницы и клиники, пока не будем уверены, что они не принимают расистских или сексистских решений».
Исследование опубликовано в The Lancet Digital Health.
Источник: ScienceAlert.
