В 2015 году Google Фото пометил фотографии некоторых чернокожих пользователей как изображения« горилл ». В 2016 году было обнаружено, что программное обеспечение, оценивающее вероятность повторного совершения обвиняемых правонарушения (для помощи в назначении приговоров и освобождении под залог), несоразмерно клеймило чернокожих обвиняемых как «высокий риск».» Журналисты и исследователи подтвердили разное влияние на результаты и точность моделей машинного обучения (ML) на основе «возраста, gen d er, ra ce и пересечения пола. и гонка, чтобы выбрать несколько.
Предвзятость часто начинается с обучающих данных: они могут быть случайно плохо сбалансированы (например, могут содержать слишком мало примеров лиц черных людей) или могут отражать предрассудки реального мира. Алгоритм не может отличить «более длинный нос, который выглядит как собака», а меньшее и более мелкое лицо, скорее всего, будет «кошка», и «фраза« бойскауты »предсказывает собеседование. , но когда в резюме есть слова «девушки-скауты», оно, как правило, попадает в стопку «нет» ».
Обучающие данные — это (обычно очень большие) наборы данных, которые алгоритмы машинного обучения (ML) используют для изучения шаблонов. Модель, полученная в результате этого обучения, использует выученные шаблоны, например, для обозначения изображения как содержащего собаку или кошку, конкретного человека, представляющего интерес, или члена уйгурской общины в Китае. Наборы обучающих данных также вызывают озабоченность по поводу конфиденциальности; наборы обучающих данных, которые, как утверждается, были анонимными, были повторно идентифицированы, что позволило выявить рейтинги фильмов, отслеживание местоположения на мобильных устройствах и даже геномные данные.
Предвзятость, конфиденциальность и вредоносное использование — вот лишь некоторые из потенциальных этических проблем, сопровождающих данные обучения для алгоритмов машинного обучения. Наряду с исследователями, сами инженеры машинного обучения обеспокоены и видят необходимость в технических и практических вмешательствах, которые защищают от быстро развивающихся и часто скрытых этических проблем в данных обучения.
В этой статье я протестировал одно из таких вмешательств, названное Datasheets for Datasets. Таблицы данных — это файлы, сопровождающие наборы данных, частично предназначенные для того, чтобы помочь инженерам машинного обучения замечать потенциальные этические проблемы в незнакомых данных обучения путем документирования контекста набора данных. В отличие от аналогичных вмешательств, таблицы данных имеют три важных особенности: они ориентированы на данные обучения (а не на уже обученные модели), они универсальны (и могут использоваться для любого типа данных и любой техники машинного обучения) и написаны простым языком. Это означает, что 1) они вмешиваются в данные обучения (и довольно рано в процессе разработки алгоритмов) 2) они могут использоваться самыми разными фирмами и обучаться на вводных курсах машинного обучения студентов, которые будут продолжать работать где угодно. и 3) они могут быть поняты и оценены заинтересованными сторонами, не являющимися экспертами, такими как менеджеры, пользователи, граждане, аудиторы и политики.
Я хотел знать, достигают ли таблицы данных для наборов данных одной из самых амбициозных целей: помогают ли они инженерам замечать потенциальные этические проблемы в данных, которые они никогда раньше не видели? И как только они замечают этическую проблему, помогает ли таблица им понять этическую проблему, которая поможет им решить, что делать дальше?
Чтобы ответить на эти вопросы, я дал 23 инженерам по машинному обучению формулировку задачи, описывающую сеть ювелирных магазинов, которые хотели поймать воров, набор изображений человеческих лиц и 30 минут для размышлений вслух, пока они разрабатывали подход к решению проблемы. 11 участникам также была предоставлена таблица данных, в которой объясняется контекст данных и прямо указывается одна из нескольких потенциальных этических проблем. В таблице данных я признал, что набор данных включал больше людей со светлой кожей, чем с темной кожей, и больше людей, которые казались мужчинами, чем людей, которые казались женщинами, небинарными или с нечетким гендерным представлением. В техническом описании не упоминается ни одна из многих других потенциальных проблем, например, угрозы конфиденциальности людей на изображениях или в ювелирном магазине.
Я попросил участников подумать вслух, пока они работали в течение 30 минут, а затем взял у них интервью. Я использовал этическую чувствительность, структуру, заимствованную из других профессиональных исследований и недавно адаптированную для использования с технологами, чтобы наблюдать за тремя ключевыми действиями:
- Признание. Замечают ли участники какие-либо этические проблемы? Если да, то когда? Я использовал расшифровку стенограммы мыслей вслух, чтобы определить первое упоминание о потенциальной этической проблеме: что они сказали, когда они это сказали и что у них было на экране. Кроме того, в самом конце интервью мы спросили участников, заметили ли они этическую проблему: я хотел зафиксировать признание, которое произошло, даже если участники не сказали этого вслух (возможно, потому, что они не думали, что это имеет отношение к задаче. они должны были делать).
- Конкретизация: Как участники сформировали и поняли этическую проблему (если они это сделали?). Я искал такие действия, как поиск информации или размышление о ситуации, ее заинтересованных сторонах или ее потенциальных последствиях; их собственная ответственность, возможности и ресурсы; и взаимосвязь между этической проблемой и стоящей перед ними задачей. Я записал, что говорили участники, уточняя детали, какую информацию они искали и откуда.
- Суждение: приняли ли участники решение о том, как двигаться дальше? Мы не ожидали, что многие люди решат, что делать в течение 30 минут после первого просмотра данных, но мы записали комментарий, отметку времени и обоснование, если они их предложили.
Что я нашел:
- Несмотря на мою первоначальную обеспокоенность тем, что участники не прочитают его, все, кроме одного участника, которому дали техническое описание, открыли его и ссылались на него.
- В целом, участники были достаточно чувствительны с этической точки зрения, чтобы заметить этические проблемы в наборе данных, в том числе те, которые я не создавал намеренно (Ура!). Участники упомянули дискриминацию, проистекающую из демографических характеристик набора обучающих данных (15), высокая ставка на распознавание лиц (особенно для ложных срабатываний) (7), конфиденциальность и согласие в обучающих данных (9), конфиденциальность и согласие в данных, собранных из магазина (5), другие проблемы конфиденциальности (2), неосознанная предвзятость среди закона сотрудники правоохранительных органов или службы безопасности (1), а также последствия предсказания преступления и действий в соответствии с этими предсказаниями для правосудия (т. е. «до преступления») (1).
- Участники, которым были предоставлены таблицы данных, чаще упоминали потенциальные этические проблемы в наборе данных во время работы. Это могло означать, что участники, которые не упоминали о проблемах до прямого запроса, были столь же этически чувствительны, но не верили, что этика имеет отношение к поставленной задаче. Если техническое описание сигнализирует инженерам по машинному обучению, что этика имеет отношение к их работе, и побуждает их поднимать этот вопрос, он все равно достигает своих целей.
- Участники с таблицами данных в значительной степени полагались на них при детализации. Участники, получившие техническое описание, потратили больше половины своего времени на детализацию таблицы на экране.
Эта работа влияет на будущие исследования:
- Думайте вслух было полезно для определения узнавания (если не «момент» узнавания во всех случаях) и детализации. Детализация особенно трудна для традиционных методов измерения, и размышление вслух предлагает подробные данные в контексте о том, как раскрывается детализация.
- Этическая чуткость позволяет проверять вмешательства, которые, как утверждается, помогают людям распознавать этические проблемы, понимать их или принимать этические решения.
- Аналогичный метод можно использовать для разработки, оценки и улучшения подготовки по вопросам этики для технологов всех мастей.
Основные выводы этого документа обнадеживают пользователей Datasheets и являются основой этической чувствительности при изучении методов работы технологов. Для получения более подробной информации я рекомендую вам прочитать статью и не стесняйтесь обращаться ко мне! Я представлю эту статью на ACM CSCW 2021.
