Нейросеть Твиттера обвинили в «расовой предвзятости» — она выбирает на превью фото лица белых людей, а не темнокожих.
Об этом сообщает TJ.
В соцсети появились десятки примеров, где темнокожих людей «обрезали» на предпросмотре.
В 2018 году Twitter стал использовать нейросети для создания превью фотографий и картинок. Часто изображение в ленте обрезается, поэтому алгоритм соцсети пытается понять, какая область представляет для пользователей «наибольший интерес», а затем выбирает ее для предпросмотра. Система работает и с фото, и с мемами, и с артами, и с текстовыми скриншотами.
20 сентября бывший разработчик компании Square (ей, как и твиттером, управляет Джек Дорси) Тони Арчиери провел эксперимент: он сделал длинную картинку с первым темнокожим президентом в истории США Баракой Обамой и республиканским сенатором Митчем Макконеллом. В обоих примерах, независимо от расположения на картинке, нейросеть Твиттера выбирала на превью последнего.
Арчиери предположил, что алгоритмы выбрали белого политика из-за ярко-красного галстука, и «отдал» его Обаме. Но система вновь поставила на предпросмотр картинки Макконелла. Обама попал на превью только при инверсии цветов.
Эксперимент разошелся по твиттеру, после чего другие пользователи тоже принялись испытывать работу нейросети. И выяснили, что в большинстве система выбирает на превью белого человека, несмотря на фон и другие факторы. Подобное происходит не только с фото, но и с артами, персонажами «Симпсонов» и мемами.
Пользователи отметили, что дело может быть в контрасте изображений или проблеме с распознаванием лиц. В любом случае, первопричина, по мнению комментаторов, в базе данных: система может выбирать на превью преимущественно белых людей, потому что она обучена на фото преимущественно белых людей.
Эту проблему неоднократно поднимали в сфере машинного обучения: нейросети хуже распознают текст и речь афроамериканцев и чаще допускают ошибки при попытке их идентификации с помощью распознавания лиц.
В реплаи к одному из твитов пришел директор по цифровым технологиям компании Дэнтли Дэвис. Он рассказал, что алгоритм не только распознает лица на картинках, но также учитывает более яркий и светлый фон, на котором объект выглядит контрастнее. Дэвис пообещал проверить работу нейросети, но показал свой пример: он взял темнокожего и белого человека, а затем прифотошопил их к одинаковому костюму на одинаковом фоне. В итоге на превью твита появился темнокожий герой.
Сотрудница Intertheory Ким Шерелл тоже провела эксперимент: она взяла более контрастное фото улыбающегося Обамы и сравнила со снимком Макконелла. На превью оказался бывший президент США.
Представитель Twitter Лиз Келли в итоге заявила, что команда соцсети проверила работу нейросети и не обнаружила в системе расовой или гендерной предвзятости. Но, по словам Келли, компания продолжит изучение алгоритма, а также откроет исходный код, чтобы его смогли изучить сторонние специалисты.
Русскоязычные пользователи тем временем поставили свои эксперименты: в их примерах нейросеть выбирала на превью Светлану Тихановскую, а не Александра Лукашенко, но в тоже время предпочитала Барака Обаму, а не Алексея Навального.
Как сообщал Realist, американский толковый словарь Merriam-Webster изменит определение слова «расизм» после обращения американки Кеннеди Митчам.