Свежий препринт про проблемы обучения с подкреплением (Reinforcement learning). RL используется:
- в психологии (классический бихевиоризм весь об этом: как подкрепление меняет поведение),
- нейрофизиологии (как мозг высчитывает ценность разных действий и генерирует ошибки предсказания награды),
- машинном обучении (как искусственный агент действует в неизвестной среде, пытаясь оптимизировать целевую функцию)
Несмотря на то, что кажется, что RL - это лигва франка между дисциплинами, соответствующие понятия используются в разных дисциплинах по-разному.
Кроме того, оказывается, что даже в формальных RL-моделях оценённые параметры (например, learning rate у отдельного человека) не очень устойчивы и легко меняются от задачи к задаче. Хорошая самокритика от авторов, которые сами занимаются RL-моделированием.
https://psyarxiv.com/e7kwx/
- в психологии (классический бихевиоризм весь об этом: как подкрепление меняет поведение),
- нейрофизиологии (как мозг высчитывает ценность разных действий и генерирует ошибки предсказания награды),
- машинном обучении (как искусственный агент действует в неизвестной среде, пытаясь оптимизировать целевую функцию)
Несмотря на то, что кажется, что RL - это лигва франка между дисциплинами, соответствующие понятия используются в разных дисциплинах по-разному.
Кроме того, оказывается, что даже в формальных RL-моделях оценённые параметры (например, learning rate у отдельного человека) не очень устойчивы и легко меняются от задачи к задаче. Хорошая самокритика от авторов, которые сами занимаются RL-моделированием.
https://psyarxiv.com/e7kwx/
Знаменитый физиолог Уолтер Кеннон был номинирован на нобелевскую премию 27 раз. Так её и не получил.
P.S. Оказывается, это далеко не рекорд
P.S. Оказывается, это далеко не рекорд
old.nobelprize.org
Nomination Database
Nobelprize.org, Official web site of the Nobel Foundation
Рассказывал позавчера на семинаре Высшей школы экономики про связи когнитивного контроля и эмоций
https://youtu.be/YcYHmraOsCU
https://youtu.be/YcYHmraOsCU
YouTube
Иван Иванчей «Роль эмоций в когнитивном контроле»
Классический подход к когнитивному контролю предполагает, что контроль запускается столкновением с конфликтом в обрабатываемой информации. Однако всё больше исследований показывают, что процессы контроля запускаются не только конфликтом, но и несовпадением…
Работа из 2006 г., предсказывающая динамику цен на фондовом рынке, исходя из беглости названий ценных бумаг. Беглость переработки информации – это ощущение лёгкости обработки информации (например, контрастный текст будет обрабатываться более бегло, чем неконтрастный). Бегло обрабатываемые стимулы не просто обрабатываются быстрее, но и лучше запоминаются и больше нравятся. В работе было показано, что ценные бумаги с беглыми названиями (например, KAR) в краткосрочной перспективе росли в ценах лучше, чем бумаги с не-беглыми названиями (типа RDO).
For example, in one study, an initial investment of $1,000 yielded a profit of $112 more after 1 day of trading for a basket of fluently named shares than for a basket of disfluently named shares.
http://pages.stern.nyu.edu/~aalter/PNAS.pdf
For example, in one study, an initial investment of $1,000 yielded a profit of $112 more after 1 day of trading for a basket of fluently named shares than for a basket of disfluently named shares.
http://pages.stern.nyu.edu/~aalter/PNAS.pdf
Сегодня видел обсуждение одного совета для успеха в науке – от людей из, скажем так, нобелевской тусовки. Совет звучит так:
whatever the next most obvious experiment was, do it. Someone else asking the same question/doing the same experiment? Do it faster than them. Don't seek out questions others aren't asking. Don't try to find whitespace. Don't think different. Win.
В комментариях многие несогласны. Пишут: это эгоистичный подход, представляющий науку как соревнование, со всеми вытекающими негативными последствиями. Я отчасти согласен, сформулировано немного как в циничных бизнес-учебниках. Но если не обращать внимание на формулировку, совет можно воспринять так:
делай то, что тебе кажется нужно сейчас делать, не обращай внимание на то, что делают или не делают другие, не сравнивай себя с другими
По-моему, в такой формулировке это довольно простая, полезная и человечная инструкция, особенно для молодых исследователей.
Сравните, например, с формулировкой голландского учёного Эдсгера Дейкстры, которая всплыла в обсуждении:
Never tackle a problem of which you can be pretty sure that (now or in the near future) it will be tackled by others who are, in relation to that problem, at least as competent and well-equipped as you.
Это звучит благородно (мол, не переживай, проблема для мира не останется нерешённой), но для молодого исследователя, который не очень хорошо знает свои возможности (а зачастую сильно их занижает), такой совет может оказаться просто парализующим любую деятельность.
whatever the next most obvious experiment was, do it. Someone else asking the same question/doing the same experiment? Do it faster than them. Don't seek out questions others aren't asking. Don't try to find whitespace. Don't think different. Win.
В комментариях многие несогласны. Пишут: это эгоистичный подход, представляющий науку как соревнование, со всеми вытекающими негативными последствиями. Я отчасти согласен, сформулировано немного как в циничных бизнес-учебниках. Но если не обращать внимание на формулировку, совет можно воспринять так:
делай то, что тебе кажется нужно сейчас делать, не обращай внимание на то, что делают или не делают другие, не сравнивай себя с другими
По-моему, в такой формулировке это довольно простая, полезная и человечная инструкция, особенно для молодых исследователей.
Сравните, например, с формулировкой голландского учёного Эдсгера Дейкстры, которая всплыла в обсуждении:
Never tackle a problem of which you can be pretty sure that (now or in the near future) it will be tackled by others who are, in relation to that problem, at least as competent and well-equipped as you.
Это звучит благородно (мол, не переживай, проблема для мира не останется нерешённой), но для молодого исследователя, который не очень хорошо знает свои возможности (а зачастую сильно их занижает), такой совет может оказаться просто парализующим любую деятельность.
Twitter
David Cox
I have met a few Nobel laureates, and I have known quite a few people one degree removed from one. As a younger scientist, I'd ask what advice they had for someone starting out. I have received many answers, but one stuck with me. 1/
А три "золотых правила" Дейкстры для успешного научного исследования можно прочитать здесь:
https://www.cs.utexas.edu/users/EWD/transcriptions/EWD06xx/EWD637.html
https://www.cs.utexas.edu/users/EWD/transcriptions/EWD06xx/EWD637.html
Читаю небольшую автобиографическую главу Бенжамина Либета из книги "The History of Neuroscience in Autobiography" под редакцией Ларри Сквайра. Я писал как-то пост о том, что он своё знаменитое открытие сделал, когда ему было 67 лет. Пытаюсь понять, как так вышло :)
Довольно занимательное чтение! Вот, например, оказывается, Либет сменил фамилию, когда начал публиковаться: чтобы она была менее “еврейской”. Настоящая фамилия – Либицкий. В тридцатые годы антисемитизм бытовал не только в Европе, но и в Америке. Кстати – как и после войны (об этом много в биографии математика Нэша).
#книга
Довольно занимательное чтение! Вот, например, оказывается, Либет сменил фамилию, когда начал публиковаться: чтобы она была менее “еврейской”. Настоящая фамилия – Либицкий. В тридцатые годы антисемитизм бытовал не только в Европе, но и в Америке. Кстати – как и после войны (об этом много в биографии математика Нэша).
#книга
Кстати, ответ на вопрос, почему Либет стал всемирно известным работой, сделанной в 67 лет, состоит в том, что он просто занимался другими вещами до этого. Либет начал изучать источники и свойства электрофизиологии мозга на заре этой области - через 10 лет после открытия ЭЭГ. Он опубликовал много работ по этой теме и был вполне уважаемым учёным до того, как занялся поисками нейрофизиологических основ сознания. Если бы он просто ушёл на пенсию, мы бы забыли его как ещё тысячи выдающихся нейроучёных, которым просто не повезло попасть на радары популярной истории науки.
Кстати, Либет пишет немного на тему, про которую недавно была дискуссия – о соревновании в науке или, формулируя по-другому, неизбежности научного прогресса: если что-то не делаешь ты, это обязательно сделает другой.
Написал в "Нож" про засилье псевдо-нейро-научных объяснений поведения и психики человека. Как говорится: важный для меня текст. Как в научно-популярном, так и в чисто научном контексте.
https://knife.media/neurobullshit/
https://knife.media/neurobullshit/
Нож
«Чарующее обаяние нейронаучных объяснений». С чем психология справляется лучше нейробиологии?
Модные понятия — нейробиология, дофамин, зоны мозга, синапсы и нейромедиаторы — очень часто оказываются нейробулшитом, сомнительной информацией, которую можно трактовать по-разному, и не помогают на самом деле понять эмоции и поведение человека. Для этого…
Статья на Ноже вызывала интерес, так что надо дать дополнительный комментарий.
Во-первых, я очень рад, что многим статья очень понравилась и показалась нужной и своевременной. Мне почему-то тоже показалось нужным и своевременным написать об этом, я рад, что это было правильное ощущение.
Во-вторых, хочу ответить на некоторые вопросы и комментарии.
1. Подзаголовок статьи – про то, что психология справляется лучше нейробиологии – редакторский, не мой. Так что замечания о том, что я так и не объяснил, где психология лучше – в кассу. Но это потребует отдельной статьи.
2. Аудитория статьи – не-специалисты, интересующиеся наукой. С коллегами я бы обсуждал эту тему по-другому и не на Ноже. Ни в коем случае не хотел сказать ничего коллегам, занимающимся нейро-исследования (я сам это делал немножко). Я хотел поговорить о том, как нейро-исследования популяризируются и воспринимаются аудиторией.
3. Тот факт, что многие подумали, будто я вовсе отрицаю нужность нейробиологии, высвечивает проблему в популяризации когнитивной нейробиологии: не-специалисты зачастую видят ложную дихотомию – либо одно, либо другое. Я считаю, что ВСЁ в поведении и психике человека обеспечивается мозгом. Если это высказывание в контексте статьи вас удивляет – значит, я не смог внятно сформулировать свою мысль. Надо лучше подумать, как популярно говорить о разных формах зависимости между субстратом и функцией.
Спасибо всем за вопросы, комментарии, критику. Это заставило лучше подумать про какие-то вещи, о которых я написал.
Во-первых, я очень рад, что многим статья очень понравилась и показалась нужной и своевременной. Мне почему-то тоже показалось нужным и своевременным написать об этом, я рад, что это было правильное ощущение.
Во-вторых, хочу ответить на некоторые вопросы и комментарии.
1. Подзаголовок статьи – про то, что психология справляется лучше нейробиологии – редакторский, не мой. Так что замечания о том, что я так и не объяснил, где психология лучше – в кассу. Но это потребует отдельной статьи.
2. Аудитория статьи – не-специалисты, интересующиеся наукой. С коллегами я бы обсуждал эту тему по-другому и не на Ноже. Ни в коем случае не хотел сказать ничего коллегам, занимающимся нейро-исследования (я сам это делал немножко). Я хотел поговорить о том, как нейро-исследования популяризируются и воспринимаются аудиторией.
3. Тот факт, что многие подумали, будто я вовсе отрицаю нужность нейробиологии, высвечивает проблему в популяризации когнитивной нейробиологии: не-специалисты зачастую видят ложную дихотомию – либо одно, либо другое. Я считаю, что ВСЁ в поведении и психике человека обеспечивается мозгом. Если это высказывание в контексте статьи вас удивляет – значит, я не смог внятно сформулировать свою мысль. Надо лучше подумать, как популярно говорить о разных формах зависимости между субстратом и функцией.
Спасибо всем за вопросы, комментарии, критику. Это заставило лучше подумать про какие-то вещи, о которых я написал.
👍1
Продолжаем месяц редукционизма! Во-первых, хочу переслать статью А. Н. Поддьякова из ВШЭ, который написал статью на схожую с моей статьёй на Ноже тему два года назад. Я ей даже делился здесь в канале. Разбор проблемы с другой стороны
Forwarded from Черномырдин нашей психологии
А. Н. Поддьяков с юмором поднимает важный вопрос вульгарного редукционизма в научпоп литературе. Хорошие примеры и их обсуждение. Но что с этим делать, не очень понятно.
Во-вторых, делюсь кейсом из психогенетики: знаменитые четверняшки Genain (псеводоним). У всех четырёх к 24 годам развилась шизофрения. Там были тяжелые отношения в семье, но возникновение такого серьёзного заболевания у всех близнецов всё равно впечатляет.
https://academic.oup.com/schizophreniabulletin/article/26/3/699/1912516
https://en.wikipedia.org/wiki/Genain_quadruplets
https://academic.oup.com/schizophreniabulletin/article/26/3/699/1912516
https://en.wikipedia.org/wiki/Genain_quadruplets
OUP Academic
A 39-Year Followup of the Genain Quadruplets
Abstract. The Genains, a unique group of monozygotic female quadruplets, all developed a schizophrenic disorder by age 24. They have been studied since the 1950
Вспоминаются в связи с этим слова нейробиолога Марины Слащёвой в выпуске нашего подкаста про коннектом: бывает, что заболеваниче чисто нейрофизиологической природы или чисто генетической. Сюда оносятся нейродегенеративные заболевания, такие как Альцгеймер и Паркинсон. В большой степени тут же (но чуть дальше по градиенту "субстрат - функция") идут аутизм и шизофрения. В таких случаях психология нам не даст ничего (или очень мало), а знания нейробиологии будут спасать жизни людей. Спорить тут не приходится.
Telegram
Черномырдин нашей психологии
Подкаст возвращается!
В третьем выпуске подкаста – журнального клуба “ОБЪЯСНЯТЬ И ПРЕДСКАЗЫВАТЬ” поговорили о коннектомe – о том, как он делает нас человеком (и делает ли на самом деле). Обсуждали новую статью Пьера Шанже и коллег “A Connectomic Hypothesis…
В третьем выпуске подкаста – журнального клуба “ОБЪЯСНЯТЬ И ПРЕДСКАЗЫВАТЬ” поговорили о коннектомe – о том, как он делает нас человеком (и делает ли на самом деле). Обсуждали новую статью Пьера Шанже и коллег “A Connectomic Hypothesis…
Где-то два месяца назад обещал “на днях” скинуть лекцию про теории сознания. Вот она!
https://youtu.be/cRmXIPJ21hg
В лекции рассказывают о попытке фанатов и авторов четырёх популярных теорий сознания:
- глобального рабочего пространства,
- интеграции информации,
- рекуррентной активации,
- мыслей высшего порядка
договориться и запустить совместную программу экспериментальных исследований для проверки этих теорий. Масштабный проект с классной подготовительной работой, где они изучили динамику развития теорий и их экспериментальных проверок. Практически методология науки, основанная на данных в одной конкретной научной области
Несколько вещей, которые хочу вынести из лекции:
- с увеличением числа экспериментальных исследований все теории со временем находят всё больше подверждений 🙂
- теории связаны с методами
- по использованному методу можно предсказать, какая теория будет поддержана результатами
- Россия совершенно не представлена в современных психо- нейро- исследованиях сознания
и многое другое.
Highly recommended, если интересуетесь темой.
https://youtu.be/cRmXIPJ21hg
В лекции рассказывают о попытке фанатов и авторов четырёх популярных теорий сознания:
- глобального рабочего пространства,
- интеграции информации,
- рекуррентной активации,
- мыслей высшего порядка
договориться и запустить совместную программу экспериментальных исследований для проверки этих теорий. Масштабный проект с классной подготовительной работой, где они изучили динамику развития теорий и их экспериментальных проверок. Практически методология науки, основанная на данных в одной конкретной научной области
Несколько вещей, которые хочу вынести из лекции:
- с увеличением числа экспериментальных исследований все теории со временем находят всё больше подверждений 🙂
- теории связаны с методами
- по использованному методу можно предсказать, какая теория будет поддержана результатами
- Россия совершенно не представлена в современных психо- нейро- исследованиях сознания
и многое другое.
Highly recommended, если интересуетесь темой.
YouTube
Consciousness Club - Liad Mudrik
🐳1