Про большие языковые модели.
Часть 1

Астрологи объявили неделю постов про большие языковые модели! Я наконец собрался с силами написать всё, что думаю про них. Будет несколько постов в течение нескольких дней.

Поехали!

Действительно, главное (по крайней мере, самое заметное) событие этого года в науке и технике - это большие языковые модели (large language models, LLM). Это такие большие (глубокие) искусственные нейросети, обученные на огромных массивах текстов продолжать словесные последовательности. Это важно запомнить: модели натренированы на несколько слов/предложений выдавать самые вероятные продолжения - на основе тех текстов, на которых они обучались. К этим моделям можно прикрутить графический модуль, и они будут генерировать картинки на основе словесных запросов (см. DALL-E и DALL-E 2).

В 2022 не произошло ничего качественно нового, но были обучены и настроены несколько больших LLM, которые продемонстрировали очень впечатляющие результаты и возбудили много новых дискуссий о том, когда ИИ нас поработит. Графические модели (DALLE 2, Stable Diffusion) стали рисовать очень качественные изображения по текстовым запросам. А основанные на LLM чатботы стали показывать очень крутые результаты.

В этой серии постов я не буду описывать перечень и возможности современных LLMs. Я постараюсь сделать психологический анализ, чтобы задать рамки осмысленному обсуждению, насколько LLMs близки к естественному человеческому интеллекту.

Почему такой вопрос вообще встаёт? Потому что многие (в особенности этим отличаются айтишники) начали говорить о том, что AGI (artificial general intelligence, то есть полноценный искусственный интеллект) – близок. Один гугловский инженер даже прославился тем, что пообщавшись с чатботом LaMDA, объявил, что чатбот – настоящая личность, которая осознаёт себя. Инженера в итоге уволили.

Осенью на несколько дней была публично запущена Galactica – модель, которая отвечала на научные вопросы, генерируя наукообразные ответы. Иногда эти ответы были хороши, но иногда это была наукообразная чушь – с ложными ссылками и фактами. После нескольких дней публичных экспериментов Галактику закрыли, так как её порождения стали считать опасными: тексты с ненадёжной научной информацией выглядели слишком авторитетно.

Конец года ознаменовался релизом ChatGPT (компания OpenAI), которой можно задавать любой вопрос. Так как для неё на науке акцент не делали, ожиданий, что она должна быть всегда точной, не было. Поэтому релиз зашёл хорошо, модель подробно и правильно отвечает на многие вопросы, имитирует стили, сочиняет стихи, даёт советы на все случаи жизни. Ошибки и искажения (типа когнитивных) тоже встречаются, но не так часто. Твиттер и тикток переполнены лайфхаками, как оптимизировать свою работу с помощью ChatGPT. Даже скептики, в целом, впечатлены. Хотя и продолжают публиковать примеры того, как ChatGPT ошибается.

По-моему, мнению успех Chat GPT во многом связан с тем, что её мало обсуждали как AGI. Я вообще, считаю, что словосочетание Искусственный Интеллект оказало медвежью услугу этой области исследований, так как формирует ложные ожидания. Этот пост предлагает не очень точную, но полезную аналогию. Не точную, потому что мы не называем самолёты “искусственными птицами” – поэтому аналогия страдает. Но полезность этого поста в том, что он даёт понять, что проблема именно в названии: если бы ИИ не называли ИИ, ожиданий и претензий было бы намного меньше. Рекомендательная система, машинное обучение, текстовый ассистент – кто будет критиковать их за то, что у них нет самосознания или понимания?

Но раз уж мы называем это искусственным интеллектом и дискуссии возникают, то я хотел бы высказаться на эту тему. Причём постараюсь избежать стиля Гэри Маркуса, который даёт очень общую критику, которая не подразумевает никакого собственного ответа, что именно надо делать. Так что продолжение следует, не отключайтесь!

Про большие языковые модели.
Часть 2. Понимание

Я хочу сделать два поинта. Первый поинт будет про понимание. Часто звучит высказывание о том, что LMM на самом деле ничего не понимают. На мой взгляд, будучи моделями, обученными, продолжать словесные последовательности, LLM демонстрируют только один из множество аспектов того, что мы называем в человеке пониманием. Ниже привожу текст, который я написал в виде комментария в одной дискуссии.

Некоторые говорят, что наука не очень хорошо знает, что такое смысл и понимание у человека. И я соглашусь с этим. Современная когнитивная нейронаука этот вопрос игнорирует. Занимаются им гуманитарные ветви психологии и, вероятно, классическая лингвистика. Я также согласен с мнением, что если ты говоришь, что GPT чего-то не понимает, то будь добр, объясни, что именно ты под этим имеешь в виду.

Смысл проще всего определить через выбор одного значения стимула (слова, высказывания) в бесконечном количестве альтернативных возможных значений (интерпретаций). Это я пишу на основе классической лингвистики в её интерпретации советской психологией (психологический анализ смысла - это одна из немногих тем, которые были глубоко разработаны).

Человек отбрасывает альтернативные значения через контекст. Лингвистически - это фраза или весь разговор. Если речь об огороде и упоминается лук - речь не об оружии.

Но есть и другие контексты: история взаимодействия с этим человеком, знания о нем, ситуация общения. Есть еще личностные контексты: моя мотивация и цель участия в разговоре, моя история взаимодействия с предметом разговора. Есть прагматические контексты - что я собираюсь делать с полученным ответом. Есть ожидания: что произойдет, если я скажу ту или иную вещь.

Вот на переплетении всех этих контекстов определяется конкретный смысл отдельного стимула (слова, высказывания). Наделение смыслом можно назвать пониманием.

ChatGPT определяет значение ТОЛЬКО по лингвистическому контексту. Вспомним, что GPT-3 обучена продолжать словесные последовательности. Модель обучена на огромном количестве контекстов, поэтому хорошо их обобщает и выдает «понимающие» ответы на очень многие вопросы. Это можно назвать пониманием, но в очень ограниченном (по сравнению с человеком) смысле.

Можно сказать, что за определение лингвистического контекста у каждого из нас отвечает собственная внутренняя GPT-3. Ее работу в изоляции можно увидеть в специфических ситуациях, например:
- у маленьких детей (ассоциации сильнее влияют на ход разговора, чем его изначальная цель);
- когда мы отвлечены (пьяны /спим /под наркозом) и отвечаем на автомате;
- в клинических ситуациях типа бреда или шизофазии (яркий пример сохранной лексики и синтаксиса при полной потере смыла, т.е. всех остальных контекстов).

Можно ли сказать, что если обучить сложную нейросеть на куче пересекающихся контекстов, то будет человеческое понимаете? Все-таки думаю, что нет. Будет понимание, но не человеческое. Потому что комбинация разных контекстов у человека происходит как-то очень интересно, возможно, через всякие внутренние переменные, которые вовлекают эмоции и субъективные ощущения. То есть смоделировать это на компьютерах, какими мы знаем их сегодня - может не получиться. Грубо говоря, то, как понимает человек, обусловлено его биологической природой, и эффективное понимаете в машинах может быть в итоге достигнуто по-другому.

В качестве ссылки на авторитет, приведу недавнее высказывание Яна ЛеКуна, который тоже говорит, что человеческое мышление в большей части невербальное (то, что я выше назвал не-лингвистическими контекстами), и эту большую часть человеческого мышления LMM игнорируют.

Это был пост про понимание. Завтра будет продолжение. Stay tuned!

Про большие языковые модели.
Часть 3. Холистическая обработка информации

Второй поинт, который я хотел бы сделать – про когнитивные способности LLM в целом: LMM имитируют/эксплуатируют холистическую переработку информации, то есть обработку информации, основанную на быстром восприятии и принятии решений на основе первого впечатления. Антоним холистической обработки информации – аналитическая, то есть основанная на деталях поступающей информации.

Изображения и тексты, сгенерированные LMM вызывают сильное первое впечатление: вау, это именно то, что я хотел увидеть в ответ на свой запрос! Но если затем присмотреться к деталям, то там часто бывает полная ерунда: то семь пальцев у человека на картинке, то правдоподобно выглядящие, но не существующие ссылки в тексте.

Холистичность видна не только по поведению моделей, но продиктована их природой: они натренированы давать лучший ответ на данный запрос на основа огромного количества примеров. Холистическое восприятие у людей устроено так же: это быстрая реакция на В ЦЕЛОМ знакомый стимул. Такая реакция подготовлена либо многократной встречей с таким стимулом, либо прошита эволюционно (ускоренная реакция избегания на опасные стимулы).

В недавней короткой лекции на эту тему я привёл пример мимикрии как стимула, сгенерированного в расчёте на холистическую обработку информации. Вспомните бабочку Павлиноглазку Атлас, которая мимикрирует под змей: расчёт именно на быструю реакцию “змея – беги!”. Этого достаточно, чтобы хищник отпрянул и было время улететь. Примерно такой же эффект производят (во всех смыслах) сегодня большие языковые модели.

И это круто! Холистическая обработка – важная часть нашего познания. Однако, некоторые вещи трудны без аналитической обработки: выделение нескольких отдельных объектов, перепроверка своих решений, подавление нерелевантных репрезентаций, фокусировка внимания, удержание целей, истинная абстракция, не завязанная на визуальные признаки и тд. Подробности смотрите в лекции по ссылке выше.

Ну и традиционно завершу пост ссылкой на ЛеКуна: он недавно озвучил очень близкую идею – что LMM имитирует работу системы 1 по Канеману. Если соединять две разные области исследований, то можно как раз привязать холистическую обработку к работе системы 1 – это примерно про то же.

Что ж, последние три поста в канале содержат основные мысли, которыми я хотел поделиться относительно больших языковых моделей. Надеюсь вам было интересно, и это простимуировало какие-то собственные мысли на эту тему. Дальше буду ещё скидывать некоторые посты / наблюдения на эту тему, но лоугридов в ближайшее время не будет. Следим за развитием LMM!

А пусть лекция тут висит отдельным постом – для истории.

Естественный интеллект и современный ИИ. Чем они похожи, чем не похожи и почему психологи и нейроучёные не верят в сильный ИИ

https://youtu.be/lSiCZOwqKOc

Метакогниции для ИИ

Несколько раз видел, как пишут, что ChatGPT необходима уверенность[1, 2]. Точнее способность давать оценку уверенности в своих ответах. Пока что этого нет. На прямой вопрос “насколько ты уверена в своих ответах“ ChatGPT отвечать отказывается*.

Метакогниции очень важны для человеческого познания и, скорее всего, сознания. На эту тему можно почитать (уже классическую) статью про сознание и ИИ, а также посмотреть мою старую лекцию. Кажется, прикрутить оценку уверенности к большим языковым моделям будет важной задачей ближайшего времени.

Если кто-то знает работы, где пытались научить нейросети оценивать уверенность/неопределённость в своих ответах – напишите, пожалуйста, в комментариях, это очень интересно. Я помню только одну старую работу с очень простыми сетками и одну современную – с глубокими нейросетями.

*Так было ещё пару недель назад. Сейчас я перепроверил, и на простые фактологические вопросы ChatGPT выдаёт фразы о том, что она уверена.

Про пир-ревью

Я обещал когда-то написать про пир-ревью: почему считаю этот институт очень важным для науки. Точно не помню, что именно я хотел написать, но сейчас хороший момент, чтобы вспомнить одну важную идею, из-за которой я считаю пир-ревью, то есть оценку научной работы коллегами-учеными, очень важной.

Науку трудно оценивать. Непонятно, кто это должен делать. Государство и бизнес очень близоруки и им, им сложно оценить фундаментальные исследования, не приносящие быстрой пользы. Налогоплательщики? Но у них нет экспертизы, кроме того, если опираться на то, что нравится людям, то хорошими будут считаться всякие хайповые исследования (очень редко значимые ученые и их работы оказываются одновременно востребованы и в научпопе). Поэтому и ценится метод регламентированной внутренней оценки: она минимально зависит от денег, полезности, хайповости - хотя, от последнего абсолютно защититься сложно.

Поэтому я всегда стараюсь соглашаться на приглашение отрецензировать научную работу. Поэтому же мне очень печально, что в России этот институт развит очень плохо: у статей часто только один рецензент, исследователи не любят рецензировать и делают это очень медленно.

Не очень свежая (2015 год) статья, критикующая доказательную психотерапию.

Не потому что это плохо само по себе, но потому что “доказательность”, “evidence-based” стало популярным лейблом, а стандарты этой доказательности очень низкие: есть ссылка на что-то – значит, научно! А что по этой ссылке – неважно.

Статья, получилась анти-кбтшная. Отчасти потому что автор – довольно желчный психоаналитик (это надо иметь в виду при чтении). Отчасти потому что КБТ считается главным evidence-based видом терапии.

Некоторые проблемы перечисленные автором:

1. Статистически значимый результат, не значит эффективный. Разница может быть статистически надёжной (значимой), но такой маленькой, что на практике толку нет.

2. Очень большие проценты потенциальных участников не допускают к исследованию (например, потому что у них несколько разных расстройств) – таким образом снижается обобщаемость результатов на всю популяцию.

3. Сравнения часто нечестные: например, практикующих КБТ-терапевтов – со студентами-психоаналитиками.

4. Publication bias: исследования, которые не показали желаемого результата (например, эффективность какой-то терапии или превосходство одного вида терапии над другим) – не публикуются.

Перечисленные проблемы, кстати, связаны и с тем, за что я не очень люблю современный научпоп: популяризаторы не рассказывают слушателю, что именно означает опубликованное исследование и часто делают более глобальные выводы, чем то, что на самом деле следует из результатов работы.

Несмотря на то, что я предостерёг вас, что автор – психоаналитик-критикан, выводы мне кажутся очень правильными и универсальными. Слово автору:

The information in this article may seem at odds with virtually all other respectable scholarly sources. Why should you believe me? You should not believe me. You should not take my word for any of this—or anyone else’s word. I will leave you with 3 simple things to do to help sift truth from hyperbole. When somebody makes a claim for a treatment, any treatment, follow these 3 steps:

Step1: Say “Show me the study". Ask for a reference, a citation, a PDF. Have the study put in your hands. Sometimes it does not exist.

Step 2: If the study does exist, read it—especially the fine print.

Step 3: Draw your own conclusions. Ask yourself: Do the actual methods and findings of the study justify the claim I heard?

If you make a practice of following these simple steps, you may make some shock- ing discoveries.

Свой скепсис по отношению к термину "evidence-based" я писал не раз, например:
https://www.tg-me.com/chernopsy/540
https://www.tg-me.com/chernopsy/558

Помните недавно писал о связи психологии и занятии с весами в зале? Теперь связь с нейронаукой: оказывается, Рамон-и-Кахаль, Нобелевский лауреат и один из отцов-основателей современный нейронауки – также занимался атлетизмом.

https://www.menshealth.com/es/fitness/a35188446/ramon-y-cajal-ciencia-culturismo-fitness/

Пользуясь случаем, снова рекламирую его книгу “Advise to a young investigator”, которую советую всем начинающим ученым-естественникам.

Бонус: отрывок из книги про философию науки и история про то, как не верили изображениям нейронов, которые сделал Рамон-и-Кахаль.

Being You

#книга, в которой британский профессор Анит Сет (Anil Seth) резюмировал свои текущие взгляды на природу сознания.

Напомню, что Сет стал всемирно известным после своей лекции на TED, где он, в целом, выразил свою основную идею. В книге идея разложена подробнее + расписаны и другие направления исследований сознания.

Итак, первый шаг, который делает Сет - это деконструкция трудной проблемы сознания.

[ Трудная проблема = как субъективный опыт, т.е. наше субъективное восприятие порождается материей, т.е. мозгом ]

Сет справедливо пишет, что эту проблему непонятно как решать и наука вообще ей заниматься сегодня врядли может. Поэтому он предлагает сконцентрироваться на реальной проблеме сознания – the real problem of consciousness. Реальная проблема - это коллекция мини-проблем, которые связаны с сознанием: какие состояния мозга влияют на состояния сознания? Как измерить сознание? Как когнитивные процессы изменяются, когда мы изменяем состояния сознания? Какие вычислительным процессам может соответствовать сознательная обработка информации?

Сет считает, что находя ответы на эти отдельные вопросы, мы потихоньку приближаемся к тому, чтобы описать сознание как природный феномен полностью, то есть сможем в пределе и ответить на трудную проблему сознания.

Это спорный тезис и я к нему вернусь в конце этой статьи.

Дальше Сет развивает свою идею сознания как контролируемой галлюцинации. Идея в том, что содержание сознания, т.е. все наше сознательное восприятие окружающего и внутреннего мира - это галлюцинация. Но контролируемая (корректируемая) - информацией из внешнего мира.

Эта идея основывается на теории предсказательного кодирования (по-русски еще говорят «предсказывающего»): восприятие идет не снизу-вверх (стимуляция органов чувств напрямую определяет, что мы видим), но сверху-вниз. Когнитивная система выдвигает гипотезы о том, что происходит сейчас вокруг (и внутри) организма, спускает эти предсказания к органам чувств, эти гипотезы сравниваются с восходящей информацией от органов чувств, корректируются и спускаются вниз к органам чувств снова. Так постоянно происходит коррекция (контроль) гипотез-галлюцинаций.

В последнее время много обсуждают, как именно происходит коррекция гипотез, т.е. как учитывается информация от органов чувств. Задача нетривиальная. Например, если вокруг темно, то не стоит учитывать восходящую зрительную информацию, но стоит больше учитывать слуховую. Или, например, если весь наш предыдущий опыт в данной ситуации противоречит поступающей информации от органов чувств - когнитивная система тоже может проигнорировать эту информацию как недостоверную.

С математической точки зрения оптимальная коррекция гипотезы в свете новых данных обеспечивается правилом Байеса. Поэтому Сет называет процесс корректировки гипотез Bayesian updating или Bayesian best guess. Последняя формулировка подчеркивает, что мы не просто генерируем гипотезы о мире, а выдвигаем догадки о том, какие объекты в окружающем мире являются причиной сигналов от органов чувств. Про веру во внешние объекты мы ещё поговорим дальше.

Итак, что составляет сожержание нашего сознания? По Сету - это сами предсказания когнитивной системы.

>>> продолжение >>>

Я все время стараюсь оговариваться, что мы предсказываем не только внешнюю среду, но и внутреннюю. Ощущения из желудка или мышц также внешние по отношению к нашей психике (и мозгу). И тут у Сета самое интересное. Для него содержание сознания - это не просто результат предсказаний и их коррекции. Для него сознание - это биологический механизм, он напрямую связан с поддержкой жизнедеятельности, гомеостазом. Так, когнитивная система не только строит гипотезы о внешних событиях, но и организует действия организма так, чтобы некоторые гипотезы оставались нескорректированными - в узком диапазоне, совместимом с жизнью. Это касается как раз этих внутренних организмических переменных: температура, кислотность внутренней среды, содержание кислорода и тд.

Кстати, здесь в тему вспомнить и другую идею, которая является составной частью теории Сета: активный вывод (active inference): организм не пассивно наблюдает за окружающей реальностью, но и предсказывает, как изменится поступающая информация, если он совершит те или иные действия. И это касается не только этих жизненно важных гомеостатических переменных.

Кстати, в то время как гипотезы о внешних к организму событиях представлены в сознании как образы восприятия, гипотезы о критических внутренних переменных переживаются в сознании как эмоции.

Напомню, что на идее эмоции как базовом элементе сознания и отражении в сознании состояния организма построена теория сознания А. Дамасио.

Возвращаемся к идее веры во внешние объекты. Сет называет её следствием предсказывающего устройства психики: когнитивная система пытается угадать, что создает паттерны воздействий на органы чувств и помещает эти догадки в окружающий мир. Уверенность в истинности догадки, т.е. реальном существовании некоего объекта во внешнем мире участвует в Байесовской оценке корректности гипотез. Чем больше наш опыт соответствует идее существования какого-то объекта, тем сильнее вера (belief) в него, тем сильнее будет априорная вероятность восприятия этого объекта в будущем, т.е. все больше гипотеза будет влиять на восприятие, а не восходящая информация от органов чувств.

Вера в существование внешних объектов, а не в то, что мы просто галлюцинируем, помимо прочего заставляет организм активно действовать в окружающей среде.

Когда речь идет о событиях в самом организме или его действиях - то так психика развивает идею самости, личности, self. Существование своей отдельной личности - это объяснение для чувств и действий организма. И вера в свою личность формируется так же, как и вера в существование внешних объектов. Существование Я, отдельного от окружающего мира, со своим опытом, ощущениями, намерениями и волей - это порождение психики, которая пытается объяснить внутренние явления организма. Это одна из ключевых идей книги.

>>> продолжение >>>

В конце Сет рассуждает про сознание у машин. В этой главе он справедливо пишет, что сознание как свойство организма ортогонально интеллекту. Они, конечно, коррелируют в эволюции, но необходимой теоретической связи между ними нет. Поэтому умная машина не обязана обладать сознанием (см. изображение выше).

Для Сета биологическая природа носителя сознания принципиально важна для обьсяннния сознания. Центральное содержание сознания - это внутренние предсказания о критически важных гомеостатических переменных. Сет называет самое базовое такое переживание просто ощущением, что ты живой организм. Это самое базовое сознательное переживание (т.е. предсказание), не редуцируемое далее. Пока мы живы, это предсказание не корректируется. Поддержание этого предсказания неизменным (т.е. выживание) - главная цель сознательного организма, на этом строятся все остальные предсказания.

Так как биология первостепенная для Сета, он пишет, что даже если сделать идеальную предсказывающую и корректирующую свои предсказания о внешнем и внутреннем мире машину - он не уверен, будет ли она обладать сознанием. Просто из устройства «психики» такой машины не будет с необходимостью следовать сознательный опыт. И в этом месте, мне кажется, вся теория проседает. В этом месте отказ от сложной проблемы сознания сводит на нет всю остальную работу. Потому что объяснение сознания можно в итоге свести к тому, что это такое свойство (некоторых) живых организмов. А все построения про контролируемые галлюцинации, правило Байеса, веру в существование Я и внешних объектов – всё это никак не связано с природой сознательного опыта. Такой вот неожиданный критический вывод.

В целом книга хорошая, она хорошо резюмирует многие современные идеи о сознании и складывает их в общую картинку. Но насколько сетовская формулировка «реальной» проблемы сознания помогает понять этот феномен с естественно-научной точки зрения – решайте сами.

Классная обложка последнего выпуска Nature Neuroscience.

Она иллюстрирует статью в выпуске, посвящённую систематическому исключению не-белых испытуемых из исследований в нейронауке и психологии.

Изображение подчёркивает в том числе и одну из проблем, о которой я писал в посте про доказательную психотерапию: слишком много людей систематически не допускаются к участию в клинических исследованиях. Поэтому обобщать их результаты очень сложно.

2000

У канала 2000 подписчиков! Ура! Спасибо, что читаете, комментируете, пересылаете другим! Буду стараться продолжать интересно для вас писать.

Тысячу подписчиков назад родилась традиция – с каждой новой тысячей рассказывать, почему канал называется “Черномырдин нашей психологии”. Пришло время снова рассказать эту историю.

Дело было в далёком 2016 году на защите моей кандидатской диссертации (да, я кандидат психологических наук). В конце защиты идёт свободное обсуждение, любой член диссертационного совета может встать и высказать своё мнение о диссертанте и его работе. Дальше я приведу слова одного из членов совета во время того самого обсуждения. После защиты мне нужно было сделать расшифровку всей защиты по видео. Я попросил моего друга помочь, и ему попался как раз этот кусок обсуждения. После расшифровки, он прислал мне текстовый файл с названием: “Черномырдин нашей психологии”. Наслаждайтесь:

« Уважаемые коллеги. Мы оцениваем не только работу соискателя, но и, в общем-то, личность соискателя, тот комплекс вещей, которые, в общем, трудно формализовать. Ну, у Ивана Ивановича есть все, на мой взгляд качества, чтобы быть великим русским учёным. Иван Иванович... Но второй вопрос возникает: «Иван чей? Чей Иван? Это Иван, западный, с западными цитатами или Иван наш?» Вот я думаю, что, всё-таки, Иван наш. ... Ну и второе: я понял, что у Ивана есть очень хорошая харизма, судя по его выборке экспериментальной. Восемьдесят три мужчины, но сколько там женщин у вас было?
— Двести пятьдесят.
— Двести пятьдесят.
— Двести пятьдесят женщин пошли на жертву, чтоб заниматься какой-то там псевдограмматикой...
— С Иваном Ивановичем.
— С Иваном Ивановичем они пошли. Я считаю, что это большое такое, достоинство Ивана Ивановича. Вы ещё… семьи нет?
— Да.
— Супруга есть, молодец, значит, вы успели. Потому что столько, двести пятьдесят, это уже кошмар. Второе: я считаю, что у Ивана Ивановича есть ещё хорошая вещь. Это Черномырдин нашей психологии. Потому что то, что он пишет — это то же самое, что хотели как лучше, а получилось… »

Такая вот весёлая защита у меня была.

Фейковые ссылки chatGPT

Каждый раз, когда я прошу chatGPT дать мне ссылку на какую-то основную обзорную работу в научной области, она выдаёт мне фейковые статьи. Выглядят как настоящие, но их тупо не существует!

Я понимаю, в целом, почему так происходит, но вот хорошее пошаговое расследование того, почему так получается на примере «самой известной экономической статьи».

Кратко:

1. ChatGPT учится по началу фразы оценивать вероятность возможных продолжений.

2. Если ты просишь её назвать самую известную статью в экономике, она, используя информацию из интернета, предсказывает самые вероятные слова, продолжающие запрос.

3. Самые частые слова в названии экономических статей: «economic» и «theory». Поэтому ответ будет начинаться с этих слов.

4. Самое вероятное слово, продолжающее эту последовательность - “history”. Получаем «A theory of economic history”.

5. Дальше выбирается самый вероятный (читай: цитируемый) автор в области экономики.

6. Самое популярное число авторов в экономических статьях – 2. Поэтому выбирается соавтор, который чаще всего появлялся в интернете (читай: цитировался) вместе с выбранным первым автором.

7. Журнал подбирается тот, в котором чаще всего печатался первый автор.

8. Год публикации подбирается более или менее из середины творческой биографии автора(ов).

P.S. Когда я в очередной раз жаловался на фейковые ссылки chatGPT, мне подсказали, что есть сервис, который выдает существующие ссылки по такому же свободному запросу – https://app.wordtune.com/editor/.