Я отупел от прочтения Hierarchical Reasoning Model [2025]

На бумаге идея следующая - делаем такую модель, которая состоит из 2 компонент - "медленной" и "быстрой". Медленная будет применяться реже и отвечать за более "глобальное" планирование, а вот быстрая будет дорабатывать детали. Как обычно, приводится неуместная аналогия с человеческим мозгом, который как бы умеет оперировать на разных частотах одновременно. Работает примерно так:

Есть 2 скрытых состояния, который обновляются двумя разными трансформерами. То, что авторы называют forward pass, состоит из N * T шагов. На каждом из них "быстрая сеть" берёт быстрое состояние, медленное состояние, эмбеддинг входа, и выдаёт обновлённое быстрое состояние. Раз в T шагов просыпается медленная сеть, берёт быстрое и медленное состояние, и выдаёт новое медленное состояние. Спустя N * T шагов применяется модель, которая превращает медленное состояние в выходное предсказание.

Авторы говорят - пробрасывать градиенты сквозь всю эту схему - скукотища и занимает кучу памяти. Решение нашли интересное - забить. Градиенты текут только во время последнего шага, для которого все предыдущие состояния считаются константой.

На вопрос "Схуяли?" авторы отвечают "Consider an idealized HRM behavior", приводят пачку невыполняющихся в данной ситуации формул и вуаля - 1-step gradient approximation готов. Unbiased, мамой клянусь.

На самом деле, то, что авторы называют forward pass, это в реальности только 1 шаг применения, и настоящий forward pass это несколько вот этих циклов по N*T шагов, вплоть до 16. Там ещё есть обучаемый на основе Q-learning модуль, который может сказать моделям "Астанавитесь" и тем самым сэкономить ресурсы, если модель нашла решение быстрее.

Вот этот самый 1-step approximation применяется на каждом шаге внешнего цикла, то есть получается, градиенты сквозь время всё-таки пробрасываются, но делается это раз в N*T шагов. По мнению авторов, это уже не так скучно.

Схема вроде работает и показывает неплохой результат, несмотря на подозрительную схему аппроксимации градиентов. Но пока вам рассказывали про сложную схему, фокусник утаил главную деталь. Знаете, какое значение N и T используется во всех экспериментах? Знаете, во сколько раз так называемая быстрая модель применяется чаще, чем медленная? Знаете, сколько памяти экономит one-step gradient approximation?

Ответ убил: N=2, T=2.

Вся эта мишура с "иерархичностью" не имеет большого смысла. Один шаг применения HRM - это суммарно 6 вызовов трансформера. Там в коде есть for-loop размером в 4 строки, который суммарно вызывает выполняет 4 вызова модели. Посмотрите на картинку поста - там есть многоточия между применениями L Module, которых в реальности нет! На иллюстрации буквально весь граф.

Думаете, в статье есть Ablation о том, как разные значения N и T влияют на результат? Нет, интересно почему? Может быть, от очень честной one-step аппроксимации у модели разболелась голова? Вместо этого авторы оформили куда более интересный подгон - анализ того, как мозг мыши можно представить в виде HRM.

Авторы ARC-бенчмарка, на котором был зарепорчен основной результат, провели анализ модели, и ключевые факты следующие:

- Если вместо HRM применить обычный трансформер такое же количество раз, результат получается почти такой же.
- Буст в качестве достигается засчёт того, что модель применяют много раз. Скор между 1 применением и 16 отличается примерно в 2 раза.

Очередная почти ничем не отличающаяся от бейзлайна поделка от великих учёных, которая не имеет никакого практического смысла, зато в сотый раз похоронившая трансформеры, согласно экспертам в телеграм-канале и в твиттере (в момент выхода). Вкуснота.

@knowledge_accumulator

Вижу некоторое количество сравнений текущего бума инвестиций в AI-инфраструктуру и инвестиций в железные дороги в США в 19-м веке. Так как я историей никогда не интересовался, то ничего не знаю про последнее, и иду читать материал / отправлять DeepResearch писать отчёты, чтобы лучше разобраться и понять. Может быть по результатам этого накатаю какой-то пост.

Но поделюсь тем, на что наткнулся тут — график размера американской железнодорожной сети по годам. В 1873-м году наступил кризис (читать в Википедии тут), тесно связанный с инвестициями в железные дороги. TLDR как и всегда: выпускали бонды, строили дороги, что-то произошло (государство решило уйти от серебряного стандарта) и не смогли расплатиться.

Однако на графике видно, что несмотря на кризис, спустя какое-то время, темпы не то что вернулись к прежним, а даже превзошли их. Все ринулись строить железную дорогу с ещё большей силой.

«рыночный крах» != «хайп / скам / технология с низким потенциалом»

[сначала прочитайте пост ниже, так работает репост в телеге 🤷‍♂️]
«Еще раз это не мошенничество - это типичная схема экосистемного кросс-субсидирования. Но для она может маскировать реальный рыночный спрос, особенно если такие внутренние потоки велики»

В случае этой картинки:
— у OpenAI весь спрос внешний; есть маленькая доля продажи в Microsoft, но последние достаточно плохо реализуют потенциал.
— на чипы Nvidia есть спрос от других AI-игроков вне схемы (Google, META, Anthropic, пока что китайские компании)
— Microsoft, Oracle, Intel и AMD делают огромные бизнесы, которые до недавнего времени не были связаны с AI (я понимаю что речь в оригинальном посте про рост ценности из-за AI, поэтому честно брать только прирост за последнее время, и мб он как раз может быть раздут).

Так что самый главный вопрос в том, продолжится ли прямая линия развития моделей и спроса на них, как нам рисуют OpenAI. Поживём — узнаем!

В прошлых постах мы посмотрели, как работают цепочки создания ценности. В этом я напишу про интересный феномен, достойный научной статьи: пример того, как цепочки создания ценности могут «сворачиваться в петлю», и почему анализ стратегических позиций в цепочке критически важен.

В классической цепочке создания ценности капитал и добавленная ценность движутся по линии:
инвесторы → производители → посредники → конечные пользователи.

Но есть феномен, который называют круговым финансированием, и именно это мы сейчас видим на рынке AI: капитал ходит по кругу между крупными игроками, которые одновременно инвестируют друг в друга и являются друг другу клиентами. Ну или короче компании покупают у себя самих, создавая видимость бурного роста.

Когда Microsoft одновременно крупнейший клиент, инвестор и облачный оператор для OpenAI, невозможно чётко определить, где в цепочке создаётся ценность, а где просто перераспределяются инвестиции. Или Nvidia - не просто поставщик. Она инвестирует в OpenAI, продаёт OpenAI чипы.

Что мы в итоге имеем: когда стратегические позиции выстраиваются на внутреннем контуре, а не на внешнем рынке, цепочка становится хрупкой: любое падение реального спроса разрушает весь круг финансирования. Дальше возможны два сценария:
1. реальный спрос догоняет инвестиции - экосистема устаканивается;
2. или пузырь лопается, как в 2000-м, когда обнаруживается, что «внешнего» рынка недостаточно, чтобы поддерживать такую архитектуру.

Еще раз это не мошенничество - это типичная схема экосистемного кросс-субсидирования. Но для она может маскировать реальный рыночный спрос, особенно если такие внутренние потоки велики. Наши любимые экосистемы зачастую так и работают, раздувая свои финансовые показатели.

Недавно писал про то, что видеокарты Nvidia становятся лучше буквально с каждой неделей, так как команда инженеров дописывает ПО и улучшает производительность у карт нового поколения. Цитирую свой прошлый пост: «Если сравнивать перформанс на начало и конец периода, то MFU (model flops utilization, доля утилизации от пиковой для GPU) вырос с 34% до 54% — относительный рост на целых 57%!».

SemiAnalysis делает техническое саммари того, какие изменения произошли недавно. С начала июля по 31 августа производительность декодирования (генерции) выходных токенов для модели DeepSeek (в FP4 на стойке GB200 NVL72 (72 фактически лучших видеокарты) улучшилась на 10–15% на всех уровнях скорости генерации, измеряемой на уровне сесии (токенов-в-секунду-на-пользователя).

— Одна из оптимизаций включает в себя объединение нескольких кернелов (маленьких программ на CUDA для выполнения на GPU) AllToAll — объединение активаций каждого токена с его метаданными, такими как коэффициенты масштабирования при квантизации или выбранный роутером эксперт. Специальный кернел ​​AllToAll использует LL128, где теперь для каждых 128 байт требуется только 8 байтов флагов для определения куда отправлять эмбеддинг и взвешенного суммирования результатов (combine-and-dispatch). Такой подход обеспечивает меньшие накладные расходы, чем стандартный протокол.

— Другая оптимизация решает проблему, из-за которой копирование и объединения в eager-режиме PyTorch выполнялись слишком медленно. При размере батча 1 (один запрос в LLM за раз) и 8 тысячах токенов контекста это занимало 306 µs на GB200, что в 3,8 раза медленнее теоретического предела, рассчитанного на основе скорости света. В результате оптимизации стало всего в 1,3 медленнее теории. Операции копирования и конкатенации используются в MLA, DeepSeek'овском варианте аттеншена.

— Реализована оптимизация PDL, которая позволяет зависимым кернелам запускаться до завершения работы родительского кернела. Это позволяет выполнять настройку и подготовку к запуску в параллель, а не замедлять процесс потом в момент вызова.

Результаты на картинке: при увеличении скорости генерации на каждого пользователя с 77 до 83 токенов в секунду общая пропускная способность в токенах на карту выросла с 951 до 1105. В одной стойке 72 видеокарты, то есть теперь вместо обслуживания 890 пользователей одновременно можно обслуживать 958 (без просадки по скорости генерации). И это за два месяца оптимизаций!

В FT вышло две колонки (раз и два) про OpenAI, описывающие текущее состояние и ближайшее будущее компании. Выписал для вас несколько тезисов:

— по текущему плану, после конвертации некоммерческой организации в коммерческую НКО останется и получит примерно 20-25% компании, но не получит специальных акционерных прав в новой структуре. Вместо этого она получит право выдвигать директоров в коммерческой OpenAI — компания надеется, что эта мера удовлетворит генеральных прокуроров Калифорнии и Делавэра, которые могут заблокировать преобразование, если посчитают, что оно подрывает благотворительные цели OpenAI.

— По словам источников, знакомых с процессом, генеральный директор OpenAI Sam Altman получит долю в компании, однако обсуждение этого вопроса начнётся только после завершения преобразования. Один из источников добавил, что активных переговоров о выделении его доли на данный момент не ведётся. Напомню, что, согласно новостям, это требование инвесторов: дать долю CEO, чтобы у него был коммерческий интерес; сейчас он не владеет никакой частью OpenAI.

— В рамках пятилетнего плана OpenAI работает над новыми источниками дохода, партнёрствами по долговому финансированию и привлечением дополнительных инвестиций, чтобы оправдать обещанные затраты в размере более $1 трлн на создание массивных датацентров. OpenAI планирует заключать сделки с государствами и бизнесами, предлагая им специализированные продукты, увеличивать доходы за счёт новых инструментов для шопинга, а также продаж через сервис создания видео Sora и AI-агентов, сообщили сразу несколько источников.

— Регулярная аудитория ChatGPT превышает 800 млн пользователей, но лишь 5% из них — платные подписчики, и один из директоров заявил, что OpenAI планирует удвоить эту долю.

— Партнёры компании, такие как Oracle, взяли на себя предварительные расходы на инфраструктуру, и OpenAI надеется, что сможет вырасти и покрыть обязательства перед партнёрами за счёт выручки в будущем. Один из руководителей пояснил, что такой подход позволяет компании «использовать балансы других компаний», чтобы «выиграть время для развития бизнеса». Если OpenAI продолжит свой стремительный рост, руководство уверено, что сможет и дальше привлекать средства от инвесторов. Альтернативой может стать приоритет выхода на безубыточность, однако на прошлой неделе Sam Altman заявил, что сейчас выход на прибыльность «не входит даже в топ-10 моих приоритетов».

— В OpenAI также рассчитывают, что расходы на вычислительные мощности резко снизятся благодаря конкуренции между поставщиками [удобно, что они заключили сделки и с AMD, и с Nvidia, и с Broadcom] и техническому прогрессу.

— В будущем компания может залезать в кредиты, чтобы покрывать обязательства перед партнёрами. Заключенные недавно сделки с AMD и Nvidia помогут компании дать сигнал «нам можно доверять, дате деняк». «Мы сотрудничаем со всеми, чтобы разработать креативные стратегии финансирования». — говорят в компании.