Исследование направлено на предвзятую технологию распознавания лиц AI. Исследование, проведенное Деб Раджи, студентом четвертого курса факультета прикладной науки и техники Университета Торонто, и исследователями из Массачусетского технологического института, подчеркивает расовые и гендерные предрассудки, обнаруженные в службах распознавания лиц.

Недавнее исследование Деб Раджи и исследователей из MIT Media Lab показало необходимость более строгих методов оценки продуктов ИИ для смягчения гендерных и расовых предрассудков. Фото: Лиз До

Раджи провела лето 2018 года в качестве стажера в медиа-лаборатории MIT, где проводила аудит коммерческих технологий распознавания лиц, разработанных ведущими компаниями, такими как Microsoft, IBM и Amazon. Исследователи обнаружили, что все они склонны ошибочно принимать темнокожих женщин за мужчин.

Но один сервис в частности – Rekognition от Amazon – показал более высокий уровень смещения, чем остальные. Хотя он мог идентифицировать пол светлокожих мужчин с почти 100-процентной точностью, он ошибочно классифицировал женщин как мужчин в 29% случаев, а женщин с более темной кожей – у мужчин в 31% случаев.

Недавно Rekognition был опробован полицией в Орландо, штат Флорида, с использованием этой службы в полицейских сценариях, таких как сканирование лиц на камерах и сопоставление их с лицами из криминальных баз данных.

«Тот факт, что технология плохо характеризует черных лиц, может привести к неправильной идентификации подозреваемых», – говорит Раджи. «Amazon нуждается в некотором общественном давлении, учитывая сценарии высоких ставок, в которых они используют эту технологию».

В связи с быстрым развитием и развертыванием продуктов искусственного интеллекта (ИИ) в этом новом исследовании подчеркивается необходимость не только тестировать системы на производительность, но также и на наличие потенциальных отклонений от недопредставленных групп.

Хотя алгоритмы должны быть нейтральными, Раджи объясняет, что, поскольку наборы данных – информация, используемая для «обучения» модели ИИ – получены из общества, которое все еще сталкивается с каждодневными предубеждениями, эти предубеждения становятся встроенными в алгоритмы.

«Допустим, я хочу примеры того, как выглядит здоровая кожа. Если вы зайдете в Google сейчас, вы увидите в основном светлокожих женщин», – говорит Раджи. «Ты не увидишь мужчину за страницами, и ты не увидишь темнокожую женщину, пока не прокрутишь вниз. Если вы включите это в модель ИИ, она примет это мировоззрение и адаптирует свои решения на основе этих предубеждений».

Эти предубеждения должны быть вызваны так же, как если бы человек был привлечен к ответственности, говорит Раджи. «Существует повышенная опасность, когда вы включаете эту предвзятость в алгоритм по сравнению с тем, когда человек принимает предвзятое решение. Кто-то скажет вам, что это неправильно, будь то публика или ваш начальник», – говорит она.

«С ИИ мы стремимся снять с себя эту ответственность. Никто не собирается сажать алгоритм в тюрьму».

Страсть Раджи к вопросу о предвзятости в машинном обучении проистекает из того, что она была студенткой Кооперативного года профессионального опыта (PEY Co-op) в стартапе AI Clarifai, где тема искусственного интеллекта и этики регулярно обсуждалась в научно-исследовательской Компания.

«Это то, что компания заметила, и очень четко ответила на вопрос, и эта тема лично меня заинтересовала, потому что я явное меньшинство», – говорит она.

Это также связано с ее личным опытом использования расистских технологий. «Я строю что-то на хакатоне и удивляюсь, почему оно не может обнаружить мое лицо или почему автоматический кран не может обнаружить мою руку», – говорит она.

Раджи поделилась своим опытом с ученым-компьютерщиком и цифровым активистом Джой Буоламвини из MIT Media Lab. Это привело к стажировке и к тому, что Раджи стал ведущим автором статьи, которую она представила на конференции Ассоциации по продвижению искусственного интеллекта по этике ИИ и обществу.

«Я знаю, похоже, что я написал исследовательскую работу за три месяца», – говорит Раджи. «Но эта проблема просачивалась во мне гораздо дольше».

Раджи в настоящее время заканчивает свой последний срок в области технических наук и проводит инициативу под руководством студентов под названием Project Include, в рамках которой студенты обучаются компьютерному программированию в районах с низким доходом в Торонто и Миссиссауга. Она также является учеником Google AI. В рамках программы наставничества она работает над новым тезисом, в котором основное внимание уделяется практическим решениям для обеспечения подотчетности компаний.

«Люди иногда преуменьшают срочность, говоря:« Ну, ИИ такой новый», – говорит Раджи. «Но если вы строите мост, разрешит ли вам промышленность срезать углы и делать такие оправдания?».

По материалам phys.org