Интересный пост Алексея Каптерева о том, как нынешняя система рецензирования научных работ, вероятно, фильтрует потенциальных Эйнштейнов, - не в этом ли, кстати, одна из главных причин снижения фундаментальных научных прорывов?
«Сегодня мы считаем, что наука — это то, что было опубликовано в рецензируемых журналах, где статьи перед публикацией проверяются анонимными (как правило) экспертами. Но вот интересно, кто рецензировал статьи Эйнштейна? Да почти никто. Смог бы он опубликоваться вообще, если бы его статьи проходили рецензирование у «обычных» физиков? Сомнительно. Самые знаменитые его работы 1905 года проходили в редакцию Annalen der Physik напрямую. Когда в 1936-м Physical Review прислал критические замечания рецензента к совместной статье Эйнштейна и Розена, авторы вспылили, забрали рукопись и напечатали ее в другом журнале.
Так наука жила до середины 20-го века! Первый научный журнал, Philosophical Transactions Королевского общества появился в 1665-м, но «фильтра качества» тогда не было. Лишь после Второй мировой войны, когда государственные гранты вызвали лавину инвестиций в науку, проверка «равными» постепенно начала становиться нормой. Даже Nature и The Lancet ввели ее для всех статей только в 1970-х.
Сегодня эксперимент разросся до грандиозных масштабов: почти 30 000 научных журналов штампуют около 4,7 млн статей в год, ученые тратят на рецензирование эквивалент 15 тыс. человеко-лет ежегодно.
Почему это хорошо?
1. Это фильтрует откровенный мусор. Сложно опубликовать в научном журнале эссе без данных или с явной методологической дырой.
2. Значок «peer-reviewed» повышает доверие к результатам у широкой публики и грантодателей.
3. Некоторое улучшение качества: даже суровый «ревьюер № 2» иногда подсказывает, как улучшить анализ или визуализацию.
Почему это плохо?
1. Это очень плохой контроль качества! Неоднократно проводились эксперименты, - рецензенты отлавливают лишь около трети БОЛЬШИХ ошибок.
2. Лотерея и задержки. Средний срок публикации статьи в бизнес-и экономике — 18 месяцев, в химии — 9. Непонятно, в каких случаях твою статью примут, а в каких отклонят, критика часто выглядит произвольной. Одну и ту же статью могут принять и отклонить в одном и том же журнале с разницей в несколько месяцев.
3. Есть подозрение, что система фильтрует «Эйнштейнов», предотвращая публикации статей, которые уж очень выбиваются из научного мейнстрима. Да, большинство таких статей и не нужно публиковать. Они бредовые. Но вполне возможно, что вред от одного лишь отказа может превысить пользу от всей фильтрации за десятки лет. Хемиосмоз, эндосимбиоз, квазикристаллы — было много научных идей, которые пробивались через peer-review десятилетиями. И это только те, про которые мы знаем, что они пробились!
Если сравнить ситуацию с эпохой Эйнштейна, мы как будто бы сменили проход в автобус через все двери на проход только в переднюю дверь с турникетом. Но турникет работает плохо, он легко пропускает «зайцев», не пускает честных пассажиров и создает огромную очередь на вход.
Что делать?
Сегодня есть много предложений и альтернатив классическому peer-review и главная из них — открытое пост-рецензирование. Статья выходит сразу, а обсуждение и оценки публикуются публично — так уже делают eLife и крупные препринт-серверы.
В идеале, должны публиковаться лишь работы, где есть полный набор «сырых» данных и кто угодно их может проверить. Но так происходит довольно редко, датасеты все еще трудно хранить. В теории после препринта работа должна публиковаться в рецензируемом журнале, но часто так даже не делают и статьи остаются «вечными черновиками».
Как вы догадываетесь, проблема с препринт-сервисами тоже есть, главная из которых — никто не хочет рецензировать. Типа 10% публикаций получают хоть какие-то комментарии. Но это сигнал для читателей: нет комментариев — нет научного интереса, не должно быть и особого доверия.
Но я думаю, знаете что? Уже через пару лет вся наука будет стандартно рецензироваться ИИ. Он уже сейчас делает это лучше, чем средний «ревьюер № 2». Я не вижу другого исхода. Вы?»
«Сегодня мы считаем, что наука — это то, что было опубликовано в рецензируемых журналах, где статьи перед публикацией проверяются анонимными (как правило) экспертами. Но вот интересно, кто рецензировал статьи Эйнштейна? Да почти никто. Смог бы он опубликоваться вообще, если бы его статьи проходили рецензирование у «обычных» физиков? Сомнительно. Самые знаменитые его работы 1905 года проходили в редакцию Annalen der Physik напрямую. Когда в 1936-м Physical Review прислал критические замечания рецензента к совместной статье Эйнштейна и Розена, авторы вспылили, забрали рукопись и напечатали ее в другом журнале.
Так наука жила до середины 20-го века! Первый научный журнал, Philosophical Transactions Королевского общества появился в 1665-м, но «фильтра качества» тогда не было. Лишь после Второй мировой войны, когда государственные гранты вызвали лавину инвестиций в науку, проверка «равными» постепенно начала становиться нормой. Даже Nature и The Lancet ввели ее для всех статей только в 1970-х.
Сегодня эксперимент разросся до грандиозных масштабов: почти 30 000 научных журналов штампуют около 4,7 млн статей в год, ученые тратят на рецензирование эквивалент 15 тыс. человеко-лет ежегодно.
Почему это хорошо?
1. Это фильтрует откровенный мусор. Сложно опубликовать в научном журнале эссе без данных или с явной методологической дырой.
2. Значок «peer-reviewed» повышает доверие к результатам у широкой публики и грантодателей.
3. Некоторое улучшение качества: даже суровый «ревьюер № 2» иногда подсказывает, как улучшить анализ или визуализацию.
Почему это плохо?
1. Это очень плохой контроль качества! Неоднократно проводились эксперименты, - рецензенты отлавливают лишь около трети БОЛЬШИХ ошибок.
2. Лотерея и задержки. Средний срок публикации статьи в бизнес-и экономике — 18 месяцев, в химии — 9. Непонятно, в каких случаях твою статью примут, а в каких отклонят, критика часто выглядит произвольной. Одну и ту же статью могут принять и отклонить в одном и том же журнале с разницей в несколько месяцев.
3. Есть подозрение, что система фильтрует «Эйнштейнов», предотвращая публикации статей, которые уж очень выбиваются из научного мейнстрима. Да, большинство таких статей и не нужно публиковать. Они бредовые. Но вполне возможно, что вред от одного лишь отказа может превысить пользу от всей фильтрации за десятки лет. Хемиосмоз, эндосимбиоз, квазикристаллы — было много научных идей, которые пробивались через peer-review десятилетиями. И это только те, про которые мы знаем, что они пробились!
Если сравнить ситуацию с эпохой Эйнштейна, мы как будто бы сменили проход в автобус через все двери на проход только в переднюю дверь с турникетом. Но турникет работает плохо, он легко пропускает «зайцев», не пускает честных пассажиров и создает огромную очередь на вход.
Что делать?
Сегодня есть много предложений и альтернатив классическому peer-review и главная из них — открытое пост-рецензирование. Статья выходит сразу, а обсуждение и оценки публикуются публично — так уже делают eLife и крупные препринт-серверы.
В идеале, должны публиковаться лишь работы, где есть полный набор «сырых» данных и кто угодно их может проверить. Но так происходит довольно редко, датасеты все еще трудно хранить. В теории после препринта работа должна публиковаться в рецензируемом журнале, но часто так даже не делают и статьи остаются «вечными черновиками».
Как вы догадываетесь, проблема с препринт-сервисами тоже есть, главная из которых — никто не хочет рецензировать. Типа 10% публикаций получают хоть какие-то комментарии. Но это сигнал для читателей: нет комментариев — нет научного интереса, не должно быть и особого доверия.
Но я думаю, знаете что? Уже через пару лет вся наука будет стандартно рецензироваться ИИ. Он уже сейчас делает это лучше, чем средний «ревьюер № 2». Я не вижу другого исхода. Вы?»
лауреаты конкурса BigPicture: Natural World Photography Competition 2025 (начало здесь, а это окончание)
This media is not supported in your browser
VIEW IN TELEGRAM
главное - настрой
А вот и первый снимок с телескопа Обсерватории Веры Рубин, - какой прекрасный! На снимке вид фрагмента скопления Девы, - это ближайшее к нашей Местной группе крупное скопление галактик. Вверху справа три галактики начали танец слияния, слева еще несколько групп далеких галактик, ну а разноцветные звезды повсюду на снимке, конечно, гораздо ближе, из нашей галактики.
Это фото выложили для затравки, а так-то презентация первых снимков телескопа состоится сегодня вечером. Снимки делает цифровая камера размером с автомобиль, которая управляется автоматизированной системой, перемещающей и направляющей телескоп, так чтобы подробнейшие изображения в ближнем ультрафиолетовом, оптическом и ближнем инфракрасном диапазонах охватывали все небо каждые несколько дней. Сравнивая новые данные с предыдущими, ИИ будет отслеживать любые изменения на небе. Ожидается, что обсерватория будет обнаруживать около 10 миллионов изменений каждую ночь, отправляя ИИ больше данных, чем все, что когда-либо было написано на любом языке в истории человечества.
Начинается новая эра в астрономии - мы переходим от наблюдения за отдельными небольшими участками неба к непрерывному наблюдению за всем небом и добыче значимой информации из огромного потока данных с помощью ИИ.
Это фото выложили для затравки, а так-то презентация первых снимков телескопа состоится сегодня вечером. Снимки делает цифровая камера размером с автомобиль, которая управляется автоматизированной системой, перемещающей и направляющей телескоп, так чтобы подробнейшие изображения в ближнем ультрафиолетовом, оптическом и ближнем инфракрасном диапазонах охватывали все небо каждые несколько дней. Сравнивая новые данные с предыдущими, ИИ будет отслеживать любые изменения на небе. Ожидается, что обсерватория будет обнаруживать около 10 миллионов изменений каждую ночь, отправляя ИИ больше данных, чем все, что когда-либо было написано на любом языке в истории человечества.
Начинается новая эра в астрономии - мы переходим от наблюдения за отдельными небольшими участками неба к непрерывному наблюдению за всем небом и добыче значимой информации из огромного потока данных с помощью ИИ.
Еще несколько кадров Обсерватории Веры Рубин. С вершины горы Серро-Пачон в Чили (1600 метров) на краю пустыни Атакама, самого сухого места планеты, самая большая в мире фотокамера-телескоп LSSTCam сканирует все ночное небо над Южным полушарием за три ночи. Одно изображение с LSSTCam охватывает область, эквивалентную размеру 45 полных лун на небе, - и в кадре помещаются миллионы галактик (как на первом фото). А всего обсерватория собирается наблюдать 20 миллиардов галактик. На втором и третьем фото две звездные колыбели - Трехраздельная туманность и туманность Лагуна с Трехраздельной туманностью на заднем плане, - цвета естественные.
This media is not supported in your browser
VIEW IN TELEGRAM
новые приключения рогатой лягушки (помните эту прожорливую тварь, пытающуюся из засады проглотить все что движется, независимо от размеров?)
Один из классиков научной психологии в ХХ веке предлагал переименовать эту науку в «психологию студентов», или даже в «психологию студентов-психологов». Ведь большая часть исследований, выполненных университетскими профессорами психологии, была сделана на их студентах, — и совсем не факт, что выводы из этих исследований распространялись на людей другого возраста или с другим образованием.
Прошло еще несколько десятилетий, — и вот, наконец, в ХХI веке исследователи обратили внимание на то, что в большей части медицинских исследований испытуемыми выступали и выступают мужчины, — и часто совсем нет уверенности, что выводы из этих исследований можно распространить на женщин. Особенно сильно это искажение в клинических исследованиях новых лекарств и терапий.
В исследовании, опубликованном в 2018 году, подсчитали, что женщины составляют менее 30% участников на ранней фазе клинических испытаний, проводимых фармацевтическими компаниями. На ранней фазе клинических испытаний проверяется безопасность лекарства (а уже на следующей — эффективность) — получается, эти лекарства могут быть небезопасны для женщин?
Другое исследование, проведенное учеными Калифорнийского университета в Беркли и Чикагского университета, показало, что это действительно так: женщины испытывают побочные реакции на лекарства почти в два раза чаще, чем мужчины. И более чем в 90% случаев «побочек» женщины испытывают более серьезные проблемы — тошноту, депрессию, когнитивные нарушения, судороги, сердечные аномалии.
Это вполне объяснимо: у женщин другие гормональные циклы, скорость метаболизма, иммунные реакции и распределение жира. Все это влияет на реакции и усваиваемость лекарств. В работе проанализировали больше пяти тысяч научных исследований фармакокинетики (раздела фармакологии, изучающего, как лекарства влияют на организм). Оказалось, одинаковые дозы у 76 из 86 самых распространенных в фармакологии препаратов действуют на женщин не так, как на мужчин с той же массой тела.
Продолжение, о причинах этой проблемы, – в моей заметке в «Ноже». Для иллюстрации (а то вдруг кто забыл, как выглядят женщины)) - картина Фешина «Лето», это его жена и дочь.
Прошло еще несколько десятилетий, — и вот, наконец, в ХХI веке исследователи обратили внимание на то, что в большей части медицинских исследований испытуемыми выступали и выступают мужчины, — и часто совсем нет уверенности, что выводы из этих исследований можно распространить на женщин. Особенно сильно это искажение в клинических исследованиях новых лекарств и терапий.
В исследовании, опубликованном в 2018 году, подсчитали, что женщины составляют менее 30% участников на ранней фазе клинических испытаний, проводимых фармацевтическими компаниями. На ранней фазе клинических испытаний проверяется безопасность лекарства (а уже на следующей — эффективность) — получается, эти лекарства могут быть небезопасны для женщин?
Другое исследование, проведенное учеными Калифорнийского университета в Беркли и Чикагского университета, показало, что это действительно так: женщины испытывают побочные реакции на лекарства почти в два раза чаще, чем мужчины. И более чем в 90% случаев «побочек» женщины испытывают более серьезные проблемы — тошноту, депрессию, когнитивные нарушения, судороги, сердечные аномалии.
Это вполне объяснимо: у женщин другие гормональные циклы, скорость метаболизма, иммунные реакции и распределение жира. Все это влияет на реакции и усваиваемость лекарств. В работе проанализировали больше пяти тысяч научных исследований фармакокинетики (раздела фармакологии, изучающего, как лекарства влияют на организм). Оказалось, одинаковые дозы у 76 из 86 самых распространенных в фармакологии препаратов действуют на женщин не так, как на мужчин с той же массой тела.
Продолжение, о причинах этой проблемы, – в моей заметке в «Ноже». Для иллюстрации (а то вдруг кто забыл, как выглядят женщины)) - картина Фешина «Лето», это его жена и дочь.