Гармонизация поведения людей и нейросетей

Копаясь в работах по машинному зрению (один проект сейчас с этим связан) нашёл работу по “гармонизации” поведения глубоких нейросетей с людьми. Под “гармонией” понимается похожесть стратегий распознавания объектов у людей и нейросетей.

Авторы пишут, что сравнив 84 глубоких нейросети с тремя человеческими датасетами на тему того, куда и как смотрят люди при распознавании объектов, они обнаружили, что существует трейдофф: чем выше точность нейросети, тем меньше стратегия модели похожа на человеческую:

Наша работа представляет собой первую демонстрацию того, что законы масштабирования, которыми сегодня руководствуются при разработке глубоких нейросетей, привели к более плохим моделям человеческого зрения.

Авторы предлагают метод доучивания нейросетей – использовать те признаки для распознавания, котрые используют люди. Точность распознания объектов, как они пишут, повышается – как и схожесть с человеческими суждениями.

Репозиторий: https://github.com/serre-lab/harmonization

Про антропоморфизм и антропоцентризм

После поста про сознание у растений в комментариях возникла дискуссия об антропоморфизме (уподоблению психики животных психике человека) и антропоцентризме (идее об исключительности человеческой психики). С одной стороны обе идеи считаются научно порочными. С другой стороны, они противоположны друг другу, поэтому борьба с антропоцентризмом часто ведет к антропоморфизму: люди начинают говорить, что у животных все то же самое – вот, мол, юмор, вот эмоции, вот мораль, вот месть, вот азартные игры и т.д. - ничего у человека уникального нет! Часто этим грешат университетские преподаватели биологии: строят из себя материалистов, а заканчивают наивными фантазиями о психической жизни животных.

К чему я это. К тому, что иногда грех антропоцентризма связывают с грехом антропоморфизма, одно якобы следует из другого. Мне же - как я уже писал выше - кажется, что они противоположны и редко напрямую связаны (по крайней мере в среде профессиональных учёных).

Вот хороший пример конфликта этих двух взглядов из жизни Яка Панксеппа, который всю жизнь изучал эмоции грызунов (из той же статьи). Его работу про "смех" у крыс не хотели принимать и советовали от слова "laughther" в своих работах отказаться. Вопрос: кто тут антропоморфист, а кто антропоцентрист?

P.S. Ок, в идеальном сценарии, должна быть разработана теория и система понятий, независимая от привычных способов описания человека и животных. Пример такого подхода – Пол Чизек [1, 2]. Но создавать свою теорию поведения/психики с нуля не все готовы.

Нерегулярная рубрика: иллюзия выходного дня

Представьте что вы едете по берегу водоема против видимого течения. Увеличится ли воспринимаемое движение потока или замедлится?

Ответ в рилсе: https://www.instagram.com/reel/Cs3q6juulSM/?igshid=MzRlODBiNWFlZA==

Побыл гостем в подкасте Den of Rich. Разговор получился, в основном, про эмоции. Автор подкаста задавал интересные вопросы и часто не соглашался, в итоге мы выходили на не самые привычные темы. Приятного прослушивания!

https://www.youtube.com/watch?v=XDrBGI2GPlY

Сознание младенцев

Статья на тему. Не даёт никаких интересных ответов, но есть несколько мыслей.

Во-первых, все чаще в последнее время встречаю идею о том, что сознание позволяет нам отделять наше восприятие от реальности.

То есть дублирование в сознании окружающего мира заставляет нас думать о том, что это не сам мир, а лишь его репрезентация. Вспомните, что говорил Хакван Лау в своей лекции: знание о том, что ты не различаешь цвета, которые различают другие люди - яркий пример понимания того, что твое восприятие отдельно от окружающего мира. Довольно неочевидная мысль: мне как раз казалось, людям трудно даётся понимание того, что восприятие не содержит в себе реальности как таковой.

Ну а главный вывод статьи: у младенцев скорее всего есть сознание, но оно не похоже на сознание взрослых. Оно содержит в себе чувственное переживание внешних стимулов, но не содержит когнитивного компонента, связанного с языком: который позволяет вербально мыслить и рефлексировать. А это возвращает нас к первому пункту: у младенцев скорее всего нет рефлексивного понимания того, что твое восприятие - это только отражение мира, а не он сам.

Если чуть углубиться в когнитивную терминологию, то можно сказать, что у младенцев есть sentience или феноменальное сознание (phenomenal consciousness), но нет сознания доступа (access consciousness), которое позволяет продвинутые когнитивные операции с воспринимаемой информацией.

https://bigthink.com/the-well/human-consciousness-womb-after-birth/

Всем привет!

Прошу прощения за перерыв в блоге – неделю назад вернулся с главной научной конференции по исследованиям сознания, перевариваю впечатления, борюсь с джетлагом. А также готовлю пост о конференции! Ждите! А пока советую посмотреть подкаст "Ноосфера" с моим участием. Получился достаточно глубокий и довольно академический разговор о сознании, эмоциях и искусственном интеллекте. В том числе немного поговорили и про мои нынешние проекты. Для тех, кто смотрел предыдущий подкаст – этот на него совсем не похож 🙂

https://youtu.be/Ez0aD_MWAN4

ASSC 26

Итак, с 22 по 26 июня я был в Нью-Йорке на главной конференция по исследованиям сознания – ежегодная встреча Association for the Scientific Studies of Consciousness, членом которой я являюсь (чтобы платить маленький оргвзнос). Конференция собирает психологов, нейроучёных и философов, которые занимаются эмпирическими исследованиями проблемы сознания.

Есть другая известная конференция по сознанию: Towards the science of consciousness. Туда – кроме учёных – приезжают всякие йоги и духовидцы, поэтому у конференции специфический флёр, многие учёные её избегают.

Так вот, ASSC не такая, это действительно главная конференция по теме, где можно отследить прогресс за год по основным направлениям исследования сознания. (Хотя конференция проходит слишком часто, чтобы ездить на неё каждый год - не так уж много открытий)

Конференция в целом прошла отлично. В качестве одного из кейноут-спикеров выступала Мэй-Бритт Мозер, которая в 2014 году получила нобелевскую премию за открытие решётчатых нейронов в гиппокампе (grid cells). С восторгом аспирантки первого года она рассказывала про свои текущие работы в области навигации грызунов.

Другими кейноутами были философ Томас Нагель – автор знаменитой работы "Что значит быть летучей мышью?”, легализовавшей в когнитивной науке субъективность сознательного опыта. Он рассказывал про какую-то более новую форму философского дуализма, но я не понял, чем она отличается от старого доброго дуализма. Моей целью было просто послушать Нагеля вживую, что я успешно осуществил и очень рад. Нагель уже старенький (84 года), и это заметно. Хотя Нед Блок (81 год) рядом с ним всё равно смотрится как подросток.

Кстати, также ходил послушать Девида Розенталя – автора теории мыслей высшего порядка (Higher-order thought theory). Посмотреть на старика было интересно, но выступление было ужасное: абзацы текста на синем фоне с параллельным чтением монотонным голосом.

Выступал также Йошуа Бенджио (к сожалению, по зуму) – один из крёстных отцов диплёрнина. Лекция была довольно общая, но мне очень понравилось, как он сравнивает современные глубокие нейросети с системой 1 по Канеману. Мы с вами тут уже обсуждали похожую идею 😉 Мимолётом упомянув их современные разработки, которые реализуют функции, более близкие к системе 2 и человеческому сознанию, Бенджио закончил экзистенциальными рисками AI, которые он считает вполне реальными.

На рядовых сессиях я, конечно, много слушал про метакогниции (сам же про них и докладывал). Никаких прорывов в этой области, к сожалению, нет.

Что заметил на других сессиях. Всё больше людей говорят про значимость эмоциональных процессов для понимания сознания (даже Нагель про это немного говорил). Был целый симпозиум на тему связи эмоций и восприятия. Слушал интересный доклад на тему того, как поражения полосатого тела (стриатума) влияют на сознание: сознание всегда связывают с корой больших полушарий, но редко смотрят на связь с подкорковыми центрами (исключение – Дамасио). Стриатум связан с системой подкрепления, то есть тоже аффективными процессами, так что его связь с состояниями сознания очень интересна.

Послушал на симпозиуме про сознание у животных про осознаваемые и неосознаваемые процессы у шмелей: в явном виде принципиально разных процессов не обнаружено - что согласно предложенному нами критерию означает, что говорить о сознании у шмелей – рано (в докладе были шутки про zom-bees).

Дальше скину несколько фотографий с конференции. А завтра будет пост о научно-развлекательной программе. Она была весьма выдающейся (возможно, вы уже что-то слышали).

Что происходит с сознанием при травме полосатого тела

Во время своего выступления поясняю слушателям, как читать мои замысловатые графики

Пари о нейрокоррелятах сознания + проверка двух теорий
или научно-развлекательная программа ASSC 26

Изюминкой конференции стало шоу "25 years of consciousness", которое проходило в театре Нью-Йоркского университета. Шоу было максимально американским - в хорошем смысле слова: всё было тщательно срежессировано, культурная программа была великолепная.

В программе было два главных пункта, про которые вы, возможно, уже слышали:

1. Результаты пари философа Д. Чалмерса и физиолога К. Коха
2. Первые результаты состязательной коллаборации (adversarial collaboration), направленной на проверку двух доминирующих теорий сознания.

В 1998 году после очередной ASSC, Чалмерс и Кох пили пиво в баре. Наутро Чалмерс (уже известный тогда молодой философ) давал интервью и его попросили рассказать, что они обсуждали в баре:

- Хм, не помню… А, был спор! Мы заключили пари! Кох говорит, что через 25 лет мы сможем назвать точные корреляты сознания в мозге: небольшую группу нейронов, которые ответственны за сознание. Говорит, у них будет какой-то небольшой набор особых свойств. Мы их опишем и всё будет предельно ясно с нейрокоррелятами сознания. [мой пересказ по памяти]

Это всё очень смешно обсуждалось Чалмерсом, Кохом, тем самым журналистом и ведущей шоу. Включили даже запись того самого интервью. В целом, с самого начала обсуждения, после точной формулировки Коха всем было понятно, что спор он проиграл. Шоу закончилось вручением вина Чалмерсу. Для тех, кто не в теме: что-то о нейро-коррелятах сознания мы знаем, но не установлено никакого точного соответствия между осознанием какого-либо стимула и нейрональной активацией, происходящей параллельно. Совершенно точно понятно, что это не небольшая группа нейронов с особыми свойствами.

Теперь про вторую часть – результаты состязательной коллаборации. Суть в том, что некий американский меценат, заинтересованный в прогрессе в научных теориях сознания, собрал вместе представителей разных теорий и предложил спланировать совместные исследования, направленные на проверку этих теорий.

Первым таким проектом стал эксперимент по сталкиванию теории интеграции информации (Information Integrateion Theory, IIT) и теории глобального рабочего пространства (Global workspace theory, GWT) (см. краткое описание теорий тут). Главные представители теорий (Стан Деан и Джулио Тонони) собрались, договорились о плане исследования и подписали бумажку о том, что они признают свидетельства в пользу той или иной теории по итогам экспериментов.

На церемонии присутствовал Деан, а Мелани Боли (сотрудница Тонони) представляла IIT. Результаты экспериментов представляли Л. Мелони и Л. Мудрик, которые сейчас много делают для развития теорий сознания (на прошлой ASSC они модерировали дебаты о теориях сознания). Результаты оказались предсказуемыми и разочаровывающими: найдены свидетельства в пользу обеих теорий с небольшим перевесом в пользу теории интеграции информации. Коротко, суть экспериментов была в том, в каких областях коры наблюдалась специфическая активность во время смены содержания сознания: в префронтальной коре (седалище глобального рабочего пространства) или в зрительной коре (затылочных долях) - как предсказывает IIT (и ещё несколько теорий). Не во всех, но в большинстве проведённых экспериментов изменение содержания сознания можно было определить (декодировать) по активности в зрительной коре, без включения какого бы то ни было глобального нейронального пространства.

Несмотря на свою подпись в декларации о коллаборации Деан саркастически заявлял, что результаты всё равно согласуются с GWT, а предсказания IIT вообще с IIT были не особо связаны. Если честно, выглядело это довольно надменно и инфантильно. Но впереди другие эксперименты, хотя надежды на свидетельства в пользу какой-то теории, которые все признают, у меня не много.

Кстати, в СМИ оба пункта научно-развлекательной программы представили в довольно искажённом виде. Во-первых, пари подают как спор об объяснении сознания в мозге, то есть о причинах его возникновения, а не о его коррелятах. Относительно двух теорий – некоторые СМИ описали их как две главные или единственные теории сознания на сегодняшний день. Это, конечно, не так и параллельно ведутся другие состязательные коллаборации, проверябщие предсказания других теорий. Если сказать просто: СМИ ожидаемо слишком сенсационно подали эти довольно рядовые (и скорее имеющие символическое значение) события из науки о сознании. Меган Петерс написала короткую статью с разбором этой проблемы.

Скрасили неприятное впечатление от результатов коллаборации культурная программа. Джо ЛеДу выступал со своей группой “The Amygdaloids”: выступление было настолько же весёлым, насколько скучным был кейноут ЛеДу (он плохой лектор и, кажется, всё, что хотел, уже миру сообщил). И я впервые видел выступление рэпера-популяризатора науки Бабы Бринкмена. Его рэп о сознании детей и животных был просто огненным – не говоря уже об импровизации на тему пари Чалмерса и Коха, которую он сочинил за время дискуссии.

Условия пари, ведущая, Чалмерс, Кох и тот самый журналист

Джо ЛеДу и The Amygdaloids

Про состязательные коллаборации

Во время обсуждения результатов коллаборации по проверке теорий сознания Лучия Меллони отметила, что в зале сидит Дэниэл Канеман - который одним из первых в психологии инициировал состязательную коллаборации (adversarial collaborations). Несколько раз он сотрудничал с исследователями, которые придерживаются противоположных ему взглядов.

Одна из таких работ была в своё время очень важной для меня. В аспирантуре я изучал имплицитное научение - способность усваивать закономерности в среде без осознания этих закономерностей. В этой области большинство исследователей убеждено, что имплицитное научение играет важную роль во всех аспектах нашей жизни: от языка до социального взаимодействия и профессиональной экспертизы. И это правда так! 🙂

При этом, с точки зрения когнитивных механизмов имплицитное научение обеспечивается тем, что Канеман называет системой 1. И Канеман всю жизнь изучал, как система 1 ведёт нас к ошибкам - когнитивным искажениям!

То есть с одной стороны имплицитное научение позволяет существовать такой вещи, как профессиональная интуиция. С другой – вызывает вездесущие когнитивные искажения.

В 2009 году Канеман опубликовал статью вместе со своим идейным оппонентом Гэри Клейном. Клейн долго изучал профессиональные решения в естественном контексте, где профессионалы быстро принимают решения, которые часто оказываются правильными. При этом выглядят эти решения как результаты работы системы 1: быстрые, без рассуждений, уверенные, с трудом объясняемые (то есть основаны на имплицитном научении – сказал бы я). В этой статье они с разных сторон разбирают условия, в которых профессиональная интуиция оказывается полезной, а в каких – вредной. Прекрасный пример состязательной коллаборации (хотя в этом случае это совместный анализ литературы, без новых экспериментов).

Канеман и Клейн приходят к выводу, что для успешных интуитивных решений профессиональные ситуации должны быть повторяемыми, там должно быть много устойчивых паттернов, которые может усвоить система 1 (Канеман и Клейн назвают такие среды “высоковалидными”, “high-validity environments”). Кроме этого, Канеман и Клейн называют быструю обратную связь, которая должна сопровождать решения профессионалов. Без неё может наблюдаться ситуация сверхуверенности: эксперту кажется, что он точно знает правильный ответ, однако, отсутствие регулярной обратной связи на аналогичные ситуации и ответы в прошлом приводит к тому, что точность таких ответов оказывается очень низкой.

Из этого можно сделать вывод, что если эксперт делает экспертное предсказание относительно какого-то нового явления, это предсказание скорее всего недорого стоит. Вспомним предсказание Хинтона. А также нобелевского лауреата по экономике Пола Кругмана (см. ниже).

Отдельно мне нравится название статьи Канемана и Клейна: Conditions for Intuitive Expertise: A Failure to Disagree