Экономики добродетели и этика искусственного интеллекта

Классный сборник вышел у Института сетевых культур про положение этики и критики искусственного интеллекта. Пока успел там почитать два интервью, и они оба хорошо проблематизируют, что вообще значит пытаться работать с искусственным интеллектом сейчас. К примеру, из интервью с Мередит Уиттакер (она сейчас президент мессенджера Signal Foundation) можно узнать, что у её организации AI Now Institute, ведущего аналитического центра по социальным исследования искусственного интеллекта, были проблема с получением финасирования от Нью-Йоркского университета. Несмотря на без преуменьшения мировую известность этого центра и первоклассные исследовательские результаты, руководство полагало, что Мередит и её коллегам нужно соотнести их повестку с той, что есть у инжерных центров университета. По факту им мягко указали на то, что им стоит быть менее критичными, чтобы не отпугнуть доноров вроде Amazon или Google от университета.

Мне кажется, мало по какой теме в социальных и гуманитарных науках сейчас открывается там много позиций и проектов как по тематике искусственного интеллекта. Все это происходит на волне ожиданий, разочарований, беспокойств и озабоченностей, которые эта технология вызывает в различных странах. Потоки финансирования и публичного внимания к искусственному интеллекту – есть одновременно и возможность, и проблема.

Моя рабочая позиция в том числе стала возможной благодаря такому внимания, и поэтому для меня важно ставить под сомнение, как это отражается на моей позиции и интеллектуальном труде. Среди прочего, это значит обращать внимание на устройство самих дискуссий и их (не)явные предпосылки. К примеру, сам термин "искусственный интеллект" на мой взгляд достаточно проблемный, потому что предполагает, что мы и правда имеем дело с интеллектом в каком-то виде. Это точка зрения для меня сомнительная, поскольку такое понимание интеллекта основано исключительно на идее высокоэффективной обработки информации. Но за термином "искусственный интеллект" стоят ожидания, подпитывающие дискуссии о том, что "роботы нас всех захватят", уф. Понимания социального контекста своей собственной интеллектуальной повестки все же, как будто бы, должно помочь лучше сформулировать тот язык, с помощью которого можно делать исследования и говорить о них.

Смотрите, какой интересный курс, вдруг вам захочется поучаствовать. Лично я убежден, что без понимания как минимум одной из тем курса – а именно той трансформация, что случилась с науками о человеке в период холодной войны, нам будет сложно что-то понять про технологии и общество сейчас.

Набор на онлайн-курс по исследованиям социальных и гуманитарных наук

Правда ли, что гуманитарная академия состоит из сетевых банд? В чем секрет успеха публичного интеллектуала? Можно ли сказать, что социальное знание не описывает общество, а производит его? Как европейский империализм влиял на социальные науки в XIX веке, а Холодная война – в веке XX? На эти и многие другие вопросы мы с Сергеем Машуковым попытаемся дать ответы совместно со слушателями на своем новом курсе «Наблюдая наблюдателей: введение в исследования социальных и гуманитарных наук».

Наша миссия – познакомить с активно развивающейся междисциплинарной областью Studies of Social Sciences and Humanities (SSSH), посвященной поискам социальных оснований наук о человеке. На наших занятиях мы рассмотрим принятые в ней теоретические языки, наиболее актуальные темы и методологические дизайны эмпирических исследований. Работа будет организована вокруг чтения текстов Мишель Ламонт, Пьера Бурдье, Дональда Маккензи, Михаила Соколова и многих других ярких представителей поля SSSH. Более подробно познакомиться с программой можно здесь.

Участие в курсе подразумевает небольшую плату. Места в группах ограничены, поэтому спешите забронировать их за собой! Для этого нужно написать @theghostagainstthemachine или @epistemic_justice в личку, представившись и рассказав пару слов о себе для более гладкой коммуникации. На курсе предусмотрены и 3 бюджетных места. Их займут победители конкурса мотивационных писем, которые можно направлять до 12 февраля на гугл-форму.

Максимальнейший репост! Энергичнейший шер! На ваши вопросы с радостью отвечу в комментариях.

Политическое измерение алгоритмической ошибки

Решения, что основаны на алгоритмах, бывают ошибочны. К примеру, алгоритмы неправильно распознают лицо, и человека задерживают. В таких случаях частый импульс – это "исправить" алгоритм, минимизировать вероятность ошибки различными способами – техническими, социальными или же какой-то их "смесью". И хотя сама по себе вероятность ошибки неискоренима, любопытно то, что алгоритмические ошибки не выводят нас за рамки алгоритма как способа принятия решений.

И, кажется, что это связано с тем, что само понятие ошибки в случаев алгоритмов машинного обучения оставляет нас в горизонте самой технологии. Здесь хочется обратиться к Тео Лепейдж-Ришеру, который прослеживает историю adversariality (сложно перевести этот термин на русский, но это что-то вроде состязательности) в кибернетике Норберта Виннера и современной литературе по нейронным сетям. Среди прочего, в этом блестящем эссе показано, что если для Виннера оппоненты были внешними и идентифицируемыми (к примеру, вражеские пилоты), то в современной литературе по нейронным сетям оппоненты становятся ошибкой – одновременно и угрозой, и способом лучше обучить сам алгоритм. Таким образом, современное машинное обучение концептуально предполагает, что пределы познания нейронных сетей принципиально неограничены. Ведь возможность ошибки как проявление таких пределов не повод отказаться от технологии, а временный недостаток, способ её улучшить.

Из такой истории науки и технологии следует важное политическое следствие. Если нам кажется важным поставить под сомнение алгоритм как способ решения проблем, то обращение к его ошибкам не может быть политически плодотворно.

​​К примеру, есть художественный проект Лиама Янга и Джейкоба Джонаса "хореографический камуфляж". В ответ на алгоритмы распознавания походки и скелетной модели художники сделали перформанс, в котором танцоры двигаются непредсказуемо. Однако такой проект как будто бы работает на сам технический горизонт алгоритмов нейронных сетей, для которых ошибка – не только и не столько провал, сколько возможность улучшения. Непредсказуемые движения, нацеленные на максимизацию ошибки, есть также отличный способ в конечном итоге алгоритм улучшить. В литературе по кибербезопасности, к примеру, схожим образом обсуждают понятие adversarial examples (состязательные примеры) – специально созданные вводные данные, которые создал злоумышленники для того, чтобы модель совершила ошибку. Вот поэтому кажется, что политический ответ, направленный на ограничение зон, где алгоритм может действовать, не может полагаться исключительно на их ошибочность.

две позиции про GPT-3

как человек преподающий и курирующий образовательную программу, я воодушевлена тем, что GPT-3 используется для написания курсовых, дипломных и иных работ.

рассуждая из этих своих позиций, я искренне не понимаю, зачем их запрещать.
(ниже я пишу, почему как работница институции я вижу в этом проблемы)
стоит работать с машинами, давать им задания, изучать их способ действия, помогать друг другу распознавать кусочки реальности и её описаний. если студенты не будут уметь работать с GPT на выходе из университета — это вот проблема.

вот сходу несколько вариантов того, как использовать GPT-3 в образовательном процессе, какие задания давать студентам:
- дать GPT-3 задачу написать эссе по своей теме, фиксировать процесс, объяснить, зачем давались конкретные задачи, какого результата добивался человек.
вторым ходом нужно попросить GPT-3 и решить и задачу метаописания, бэклога. устно объяснить, в чём разница.
- групповое задание — сравнить, чем отличаются постановки задач у разных людей, какие критерии исходят из разных логик (и студенческих и из разных логик задач курса/преподавателя)
- реконструировать, из каких источников GPT-3 берёт элементы текста (это невозможно сделать в полной мере, но пытаться — следует). написать методическую рекомендацию по тому, какие брать не следует. обсудить в группе «за» и «против» открытости разных источников.
- написать эссе/обзор литры/план исследования на ту же тему, что GPT-3. сравнить, в табличке написать, в чём разница.
- поработать с разными переводчиками и языками, грамматическими формами, выявить разницу, дать ей интерпретацию.
- разработать школьный урок с вариациями текстов, созданных GPT-3. продумать, какие формы проверки возможны, какие плагины можно придумать, чтобы школьники смогли фальсифицировать свою работу.

но! есть структурные проблемы. существование, политика и финансирование университетов исходит из принципов унификации и автоматизации. как вы понимаете, программу учебной дисциплины GPT-3 составит не хуже иного препода, и оценит работы, и напишет фидбек. людей в университетах включали в системы, где они/мы как бы играют в машин. к сожалению, не играли в эту игру — единицы.
перейти к тем способам оценки, которые позволят учесть труд и интерес человека и коллектива — смогут не все.

пересборка больших процессов по такому учёту — будет чудовищной. я с болью смотрю на эту часть истории, в которой мы живём — сколько судеб будет ломаться, сколько видов знаний не сможет пережить этого и вынужено будет искать новые способы существования.

искать стоит вместе. тут и кибернетические корни гуманитарных наук понадобятся, и знания историков про то, какие этапы автоматизации мы уже переживали, и умение работать с машинными интерфейсами, и критика данных/знания.
так что если вам, как и мне, GPT-3 скорее помогает, стоит пристёгивая себя, оглядываться на соседей.

Славная рассылка у Kit про искусственный интеллект, рекомендую! Пока читал её, думал об объективности, которая там тематически немного появляется. В текущий технологический и политический момент важно сомневаться в объективности алгоритмов – ведь в том, как они принимают решений, много предрассудков, искажений, этически и социально нежелательных исходов, а ещё просто сюрпризов. Вместе с тем, такое разоблачение алгоритмической объективности, неспособной соответствовать высоким ожиданиям, на мой взгляд, должно также уметь оценить стоящие за этими проектам намерения и усилия. Все же за такими попытками по созданию объективных алгоритмов стоит сильное обещание изменить процесс принятия решений «в лучшую сторону», какой бы она не была. Ведь у алгоритмического принятия решений нет автоматически выигрышной противоположности здесь, человеческие решения также воплощают в себе различные предрассудки.

Вот история и философии науки нас учат, что объективность – многосоставный, исторический изменчивый идеал (про это есть замечательная книга «Объективность» П. Галисон и Л. Дастон). Этот идеал, безусловно, создается, но это никак не отменяет его ценности. Объективность – это не ценностно нейтральная позиция безусловной непредвзятости, «взгляд Бога». Однако смысл этого идеала вполне может быть переиначен при сохранении его значимости как познавательного и политического импульса. Так, сейчас я читаю книгу Сандры Хардинг «Объективность и разнообразие», где она с точки зрения ряда дисциплин пытается сделать именно это, а именно – указать, что можно и нужно культивировать более сильный идеал объективности, который не противоречит, а подкрепляется разнообразием позиций и предлагаемого ими знания.

Об ответственности за алгоритмы

Последнее время много слышу о "Responsible AI", "ответственном искусственном интеллекте". Вот, значит, говорят люди, есть технология, но используем-то мы её как-то не так, а нужно обращаться с ней ответственно, соотносить её с общественными ценностями. Хочу разобраться и в теоретических, и в политических предпосылках всей этой конструкции об ответственности подробнее в будущем, поскольку для меня здесь пока много темных пятен.

Я уже писал какое-то время назад, обсуждая интервью с Йосе ван Дейк о (де)платформизации и европейском пути интернет-регулирования, что меня смущает язык общественных ценностей тем, что он как будто бы оставляет непроясненным свое содержание, выводит из этих ценностей возможность конфликта и представляется универсальным. Помимо этого, в разговорах об ответственном искусственном интеллекте меня озадачивает, что этот подход словно безразличен к тому, что вообще может быть ответственным.

Вот в Нидерландах недавно прошла конференция по ответственному использованию искусственного интеллекта в военном деле (Responsble AI in the Military Domain). Сразу скажу, что я не ходил, поэтому о содержании понятия не имею. Сама идея же меня невероятно поражает: давайте учиться, как убивать людей ответственно. Я предполагаю, как минимум часть участников таких инициатив хочет, чтобы такие технологии не остались совсем без какого-то регулирования и публичного внимания: "Уж если технологии и будут (а они будут), то давайте хотя бы ответственно". Эта позиция мне понятна. Но я также думаю, что таким дискуссиям нужна более сильная версия ответственности, в которой последняя была бы не всеобъемлющей рамкой-подорожником, но удерживала бы в себе бы возможность проведения границы.

Про ответственность и алгоритмы мне понравилось в книге Луизы Амур "Облачная этика": «Жить с безумием решения – значит признать и взять на себя ответственность за невозможность когда-либо связать действие с полным объемом знаний. Решения безумны, потому что они никогда не могут полностью познать последствия и эффекты своего собственного принятия. Принять решение – значит столкнуться с невозможностью разрешения трудности; это безумие в том специфическом смысле, что оно не имеет единых оснований».

Несмотря на все происходящее, мои бывшие ученики обладают невероятным ресурсом по низовой организации различных образовательных проектов. Для одного из таких проектов, "Дискуссии в Восточной Европе", я буду читать лекцию в пятницу, 3 марта, под названием "Облака, земля и корабли: политика алгоритмического управления". Буду играть с метафорами, обсуждать демократию и цифровые сюжеты.
Также вспомнил, что для другого проекта своих учеников "Общее дело" в октябре прошлого года читал лекцию "Цифровой суверенитет в России и мире: автономия от кого и для чего". Она была составлена по тем публикациям, что мы вместе с Полиной Колозариди опубликовали в 2020-2021 годах.

Надеюсь, что когда-нибудь про все замечательные российские низовые проекты по образованию и производству знания будет написано много книг, статей и всяческих других историй.

Ну а теперь вернусь к более насущным и интересным вопросам.

Wired провели впечатляющее расследование о системе, которую власти Роттердама поручили создать компании Accenture для, казалось бы, улучшения определения конкретных людей, которые наживаются на соцуслугах или велфэр. Нюанс оказался в том, что данный алгоритм машинного обучения изменил принцип "флагирования" подозреваемых мошенников и из-за скормленных алгоритму данных, и стал более дискриминационным.

Это, конечно, не первый алгоритм, автоматизирующий подобную работу: есть алгоритмы, распределяющие детей в школы, кому выдавать заемы и т.п. И каждый раз общество не знает, как эти алгоритмы принимают решения. Но отличает этот кейс реакция властей - с хорошей точки зрения. В 2021 году нидерландские власти приказали приостановить использование этого алгоритма из-за фундаментальных дискриминационных проблем алгоритма.

Собственно, как это работает? Wired "придумали" для алгоритма двух людей:
1) мать-одиночку двоих детей Сару, уволившуюся с работы из-за болезни ребенка
2) родившегося не в Нидерландах учителя из Ирака Юсефа.

Начнём с Сары. Сотрудник, рассматривающий её дело, помечает, что она "недостаточно гибкая" и что "одежда, макияж и/или стиль волос неподходящий для заявки на работу" (при том что дискриминация по гендеру и этносу незаконная, скормление этих данных алгоритм является серой зоной).

Как это влияет на Сару? Те факты, что она женщина, у неё двое детей, прекратила долгие отношения (более 206 дней), с трудом оплачивает, влияют на её рейтинг и могут послужить основаниями для расследования.

Теперь про Юсефа. Живёт в мигрантском районе, делит жильё с другими иракцами, экзамен на нидерландский не смог сдать. Для справки: чтобы претендовать на велфэр, нужно либо знать язык, либо показать, что стремиться его выучить. При этом независимый госорган - Нидерландский аудиторский суд - постановил, что требование знать язык чисто или выносить решения по тому, какой язык у человека родной, является дискриминацией.

С ним получается то же самое, как с Сарой. Иракский как основной язык, скептицизм рассматривающего его дело сотрудника насчёт поиска работы, проживание в мигрантском районе, станут основаниями для расследования на мошенничество.

Во-первых, позитивно видеть, что в Нидерландах, когда обнаруживают проблемные вещи в технологической сфере, власти не боятся прямо говорить об этом, признавать ошибки и исправлять их. Во-вторых, очередное напоминание, что полностью полагаться на ИИ и машинное обучение крайне опрометчиво.

Вот как выглядит упрощенно модель, которую использовали в Роттердаме. То есть, в кейсе женщины дети имеют значение (мать-одиночка), а у мужчины, если он отец-одиночка, нет.

Для алгоритма Роттердам взяли обучающие данные 12 тысяч человек, которые в целом построили такую среднюю статистику:
– успешная сдача языкового экзамена повышает в два раза шансы избежать расследования;
– у родителей-одиночек с детьми выше шансы попасть под расследование;
– чем старше, тем меньше шансов избежать расследования

И по итогу власти Роттердама сами позже признали, что модель крайне неточная.

Также, в статье можно поиграться с данными, чтобы легче было понять, как и какие факторы влияют.