Моя мечта : чтоб у каждого учащегося и по каждому предмету была такая поддержка (не обязательно от родителей). Учителей на всех не хватит, а вот AI-систем — вполне.

Такая глубокая персональная проработка существенно влияет на уровень учащихся — вот тут можно чуть больше почитать про «проблему двух сигм».

Проклятье Starship V2.

Прототип S34 снова был потерян за 20 секунд до выхода на орбиту. Есть фундаментальная проблема с конструкцией этого блока кораблей. Пока не будем спекулировать о точных причинах, они могут повторяться (речь про гармонические колебания).

Главному инженеру пора начать наводить порядок дома.

R1 is not on par with o1, and the difference is qualitative, not quantitative

Почти сразу после выхода DeepSeek R1 я писал, что не думаю, что модель на уровне с рассуждающей моделью OpenAI o1. При этом я считал и считаю, что а) в некоторых доменах качество действительно может быть практически одинаковым б) в конкретных задачах модель может быть не хуже или даже лучше o1.

Ребята из Толоки пришли к такому же выводу, основываясь на агрегации результатов замеров на разных бенчмарках, в том числе своих, выпущенных совсем недавно, и с упором на новизну (например, U-MATH — набор математических задач, которые до этого не были нигде опубликованы). Дальше идёт перевод цитат из текста:

— Распространенно мнение, основанное на замерах самих же DeepSeek, что модель более или менее равна o1. R1 немного лучше разбирается в математике и программировании и имеет более свободный и творческий стиль письма, в то время как o1 немного лучше разбирается в фактах, отвечает на вопросы и следует инструкциям, а его стиль письма фокусируется на тщательной структуре, грамматике и логике.

— Тесты на задачах из длинного хвоста распределения показывают разницу. Как только мы сходим с проторенного пути [популярных бенчмарков], альтернативные тесты рисуют иную картину. Наша исследовательская группа исследовала оценки в нишевых поддоменах и необычных доменах и отметила количественные и качественные пробелы в производительности модели.

— U-MATH был разработан именно для того, чтобы представить новые необычные задачи по математике из университетов. Согласно нашей оценке U-MATH, R1 ничем не лучше o1 в — фактически, он на одном уровне с o1-mini.

— Превосходная обобщаемость и надежность выделяют OpenAI o1 в собственную лигу. Бенчмарки по задачам из длинного хвоста распределения нетрадиционны, они проверяют новизну и надежность. Итак, вот наше мнение: o1 имеет большую обобщенность и надежность, чем R1. [конкретные цифры и задачи см. по первой ссылке]

— Недавнее проведённый тест на галлюцинации Vectara показывает, что уровень галлюцинаций у R1 составляет 14,3%, тогда как у o1 и o1-mini он составляет всего 2,4% и 1,4% соответственно.

— также авторы сравнивали результаты на AIME '25 (про который я тоже писал), где видно, что на «новых свежих» задачах o1 почти не просела по качеству, а вот R1 упала.

===

Вдогонку к этому очень схожий по интенту пост от METR, занимающихся оценкой агентских навыков моделей. Они проверли два замера, вот выжимка:

— «R1 работает намного хуже, чем o1-preview или Claude 3.5 Sonnet. Она на одном уровне с GPT-4o»

— «Deepseek-R1 показал себя немного лучше, чем o1-preview, и находится примерно на уровне передовых моделей сентября 2024 года»

И это всё ещё не отходя от задач на английском языке! На других, уверен, разница ещё заметнее.

===

Ещё я пару раз просил в разных чатах скинуть бенчмарки, на которых R1 прям существенно лучше o1, и таких нашлось всего 2, ну может 3 с натяжкой (один из них на реддите от любителя, на своих задачах). А замеров, где o1 >> R1 — горка с присыпкой.

===

Означает ли, что это плохая модель? Нет, она очень способная, и с учётом её цены и бесплатного пользования на фоне GPT-4o это очень хорошая модель. Обратите внимание, что речь про «модель», а не «сервис или услугу» — DeepSeek до сих пор доступен с перебоями, то и дело не отвечает на запросы, что затрудняет его использование.

И если вы готовы платить $20 за подписку, или тем более вложиться в o1 pro — история прохладная.

По слухам, DeepSeek готовят версию R2 к маю. Посмотрим, что будет там. Но сразу говорю, кажется, очевидную вещь — если по каким-то 3-4 бенчмаркам модель будет на уровне с o3 от декабря '24, то фактически это почти наверняка означает то же самое: в среднем модель хуже.

Cognitive Behaviors that Enable Self-Improving Reasoners

Когда вышла o1 от OpenAI, то хоть технических деталей и было мало, но сотрудники, включая Noam Brown, говорили, что там всё просто. Когда вышла R1 от DeepSeek, то это подтвердилось: просто (нифига не просто) берёшь модель, набор пар «задача — ответ», и запускаешь процедуру генерации сотен-тысяч цепочек рассуждений, награждая модель за те из них, которые приводят к правильным ответам.

Работает это за счёт того, что модель нет-нет, да иногда и выдаст что-то правильное. Те рассуждения, которые привели к этому «правильно» закрепляются, усиляются (из-за метод и называется Reinforcement Learning). По сути вся тренировка сводится к тому, чтобы найти те наборы фраз, которые у модели ассоциируются с определёнными паттернами, и заставляют её им следовать.

В воздухе витал вопрос — идея достаточно очевидная, почему до этого её никто не пробовал? Или почему ни у кого не получалось? (спойлер: люди много раз пробовали такое же или нечто очень схожее)

Сегодняшняя статья пытается копнуть в эту тему и сравнить обучение двух разных базовых моделей одинакового размера, Qwen-2.5-3B и LLAMA-3B, рассуждениям для решения математической игры Countdown. Эта игра, в которой участнику даются 3 или 4 цифры, а также целевой результат, а он должен расставить скобки и знаки +, −, ×, ÷. Например, если вам говорят «25, 30, 3, 4» и «32», то ответ может выглядеть так: (30 − 25 + 3) × 4. Задача хороша тем, что в ней можно применять паттерны рассуждений (прямо как в сложных серьёзных задачах олимпиадного уровня) — и их авторы выделяют 4 штуки:

— (1) Возврат назад или пересмотр подходов при обнаружении ошибок (например, если модель пишет «Этот подход не сработает, потому что...»)
— (2) Перепроверка промежуточных и финальных результатов («Давайте проверим этот результат с помощью...»)
— (3) Постановка подцелей, когда сложная проблема разбивается на меньшие шаги («Чтобы решить это, нам сначала нужно...»)
— (4) Рассуждение от обратного, когда решение строится в обратном направлении от желаемого результата («Чтобы достичь цели 32, нам нужно число, делящееся на...»)

Значит, авторы берут две модели, запускают на них тренировку почти как у o1/R1, только с задачами по типу Countdown, и сохраняют промежуточные модели по ходу обучения. За 250 шагов Qwen доходит до 60% правильных ответов, а LLAMA до 30% — очень большая разница.

И ещё провели пару экспериментов с предварительным дообучением LLAMA 3B на данных, содержащих примеры всех 4 паттернов рассуждений, чтобы показать, что если уже из такого состояния начинать RL-тренировку игре в Countdown, то модель догонит по финальному качеству Qwen.

Первый эксперимент:
нагенерировали синтетические решения для Countdown через Claude Sonnet 3.6, при этом дали ей в промпт все 4 паттерна рассуждений и просили какие-то из них не использовать, или использовать только 1 или 2 конкретных, ну и все вместе. Качество вышло не очень  — несмотря на то, что модель очень хорошо слушалась инструкций, и если её просили что-то включить в рассуждения, то она это делала органично, сам по себе Sonnet 3.6 выдал лишь 45% качества.

То есть больше половины цепочек рассуждений были с ошибками. И тренировка на них... принесла улучшения до уровня Qwen! То есть важнее именно показать, что такие паттерны рассуждений есть, и как их примерно применять, но не обязатльно, чтобы примеры были супер-качественные. (что не означает, что их не нужно фильтровать — замера с очисткой авторы не делали, но думаю, что качество могло бы подрасти)

Второй эксперимент:
взяли датасеты OpenWebMath и FineMath (задача + решение + ответ), выбрали из них 200 тысяч случайных примеров, прогнали через Qwen-2.5-32b и попросили определить, какие из паттернов рассуждений встречаются в решениях. Ожидаемо, все методы, кроме выделения подцелей, достаточно редки — в 1 документе из 50.

Получается, теперь все задачи разделены на 2 типа: те, у которых в решении есть паттерны рассуждений, и те, у которых их нет. Из этих наборов сделали два датасета одинакового размера для дообучения LLAMA, только ещё и решения переписали в виде рассказа от первого лица (это же цепочки рассуждений), но с обязательным сохранением паттернов — тут тоже помогла LLM.

Обучили 2 модели, затем запустили RL на игре в Countdown — и увидели разницу. Само по себе обучение на математике, даже без паттернов, уже повысило качество. Но ещё больше оно приросло именно от обучения на примерах, где так или иначе проявлялся как минимум один из вышеупомянутых способов рассуждения. Это отражено на картинке слева.

Очень жаль, что не сделали обратного эксперимента, где сначала обучали на Countdown, а затем замеряли качество на математических задачах.

===

А ответ на изначальный вопрос, кажется, такой: раньше модели были глупее, и они не достигали какой-то критической массы, после которого запуск процедуры RL-тренировки приводил к клёвым результатам. Сейчас такие данные добавляют на одном из последних этапов подготовки модели, поэтому оно уже зашито в модель, и остаётся только начать чаще и к месту использовать.

Наконец-то могу почувствовать себя Сталиным!