Если вдруг пропустили — под этим тредом продолжается раздача инвайтов. Огромное спасибо всем, кто взял один и отдал обратно 4, позволив большему количеству людей попробовать генерацию. Каждый инвайт можно ввести 4 раза! Поэтому не забывайте пробовать те, что скинули в чат совсем недавно.

Напомню, что всё работает в браузере на sora.com + американском VPN.

OpenAI уточнили, что сейчас лимит составляет 100 генераций в сутки, что гораздо больше того, что я ожидал. Не знаю, как им хватает мощностей — но пока не ясны масштабы, сколько людей пользуется, стало ли приложение вирусным или ещё нет. Sora 2 Pro ещё не выкатили, ждём.

Функция Камео, позволяющая перенести образ любого друга / публичной личности (которые дали согласие и отсканировали себя) — это бомба с точки зрения социальных взаимодействий. Кто придумал это — гений; у Google хорошая генерация видео уже была сколько-то времени, и они не выкатили это.

Кажется, с точки зрения маркетинга не сделали очевидную вещь: не собрали 10-20 звёзд и не заплатили им за то, чтобы они дали право использовать свою внешность. Хотя может быть пытались, но цифры запросили космические, тут хз.

Услышано в интернете:
«Клянусь богом, через 3 месяца обычные люди не будут знать, кто такой Сэм Альтман, но они на 100% узнают в нём sora boy»

Epoch.AI замерили Sora 2 на... GPQA, бенчмарке по химии-физике в виде теста с 4 вариантами ответа. Просили угарного профессора из МГУ показать бумажку с ответом.

Правильно ответили на 55% вопросов (качество GPT-5 ~72%), что выше большого числа моделей прошлого поколения.

КАААК? Скорее всего всё просто: перед подачей на генерацию промпт пользователя переписывается (не только для этих тестов, но и вообще для любого запроса), и модель решает задачу и пишет «покажи профессора который показывает букву C».

На неделе вышла статья от Google DeepMind, где они проверяют модель генерации видео Veo 3 на большом количестве физических и логических задач, от решения лабиринтов до имплементации графовых алгоритмов (через заливание трубочек водой), и, как мне кажется, это куда более интересно — рекомендую посмотреть лендинг вот тут.

Это я сижу с 10 открытыми вкладками в попытках написать пост.

Через 20 минут начинается OpenAI DevDay, открывающее выступление у CEO компании: https://www.youtube.com/live/hS1YqcewH0c

По слухам, представят:
— новую модель генерации и исправления изображений
— UI для создания AI-агентов прямо на сайте OpenAI. n8n и Zapier — всё!
— API Sora 2

На место был отправлен наш специальный агент @denissexy, будем следить за новостями 🫡

Проснулись-потянулись, посмотрели на примерную разбивку трат OpenAI на вычислительные мощности... за 2024-й год. Источник — свежая инфографика от Epoch.Ai.

По разным оценкам и публикациям в СМИ выходит, что суммарно было потрачено примерно 7 миллиардов. Из них $2B (число должно быть достаточно точным, помню, читал у TheInformation) ушли на оплату мощностей для предоставления моделей в ChatGPT и API.

Остальные цифры оценены примерно, и у них может быть большой разброс.

Самая большая графа расходов — мощности на эксперименты и разработку, $4.5B. Примерно $400M ушло на тренировку GPT-4.5 (aka Orion, которая должна была стать GPT-5, если бы мы не увидели рассвет Thinking-моделей); оценка здесь сделана на основе предположительного кластера, на котором велось обучение, так как про него мы знаем больше, чем про саму модель. Обучение велось от 90 до 165 дней на 40k-100k видеокарт, плюс цена за один час работы GPU известна — так и получилась оценка. 90%-й доверительный интервал [$170M; $890M].

И на тренировку 4o / o1 / мини-версий и обновление чат-моделей ушла совсем кроха, $80M.

В 2025-м году доля голубой области, мощностей на инференс, должна сильно подрасти — всё таки ChatGPT существенно вырос, плюс рассуждающие модели теперь генерируют больше токенов.

Это Sama трансформирует планету в одну большую GPU-фабрику.

Я отупел от прочтения Hierarchical Reasoning Model [2025]

На бумаге идея следующая - делаем такую модель, которая состоит из 2 компонент - "медленной" и "быстрой". Медленная будет применяться реже и отвечать за более "глобальное" планирование, а вот быстрая будет дорабатывать детали. Как обычно, приводится неуместная аналогия с человеческим мозгом, который как бы умеет оперировать на разных частотах одновременно. Работает примерно так:

Есть 2 скрытых состояния, который обновляются двумя разными трансформерами. То, что авторы называют forward pass, состоит из N * T шагов. На каждом из них "быстрая сеть" берёт быстрое состояние, медленное состояние, эмбеддинг входа, и выдаёт обновлённое быстрое состояние. Раз в T шагов просыпается медленная сеть, берёт быстрое и медленное состояние, и выдаёт новое медленное состояние. Спустя N * T шагов применяется модель, которая превращает медленное состояние в выходное предсказание.

Авторы говорят - пробрасывать градиенты сквозь всю эту схему - скукотища и занимает кучу памяти. Решение нашли интересное - забить. Градиенты текут только во время последнего шага, для которого все предыдущие состояния считаются константой.

На вопрос "Схуяли?" авторы отвечают "Consider an idealized HRM behavior", приводят пачку невыполняющихся в данной ситуации формул и вуаля - 1-step gradient approximation готов. Unbiased, мамой клянусь.

На самом деле, то, что авторы называют forward pass, это в реальности только 1 шаг применения, и настоящий forward pass это несколько вот этих циклов по N*T шагов, вплоть до 16. Там ещё есть обучаемый на основе Q-learning модуль, который может сказать моделям "Астанавитесь" и тем самым сэкономить ресурсы, если модель нашла решение быстрее.

Вот этот самый 1-step approximation применяется на каждом шаге внешнего цикла, то есть получается, градиенты сквозь время всё-таки пробрасываются, но делается это раз в N*T шагов. По мнению авторов, это уже не так скучно.

Схема вроде работает и показывает неплохой результат, несмотря на подозрительную схему аппроксимации градиентов. Но пока вам рассказывали про сложную схему, фокусник утаил главную деталь. Знаете, какое значение N и T используется во всех экспериментах? Знаете, во сколько раз так называемая быстрая модель применяется чаще, чем медленная? Знаете, сколько памяти экономит one-step gradient approximation?

Ответ убил: N=2, T=2.

Вся эта мишура с "иерархичностью" не имеет большого смысла. Один шаг применения HRM - это суммарно 6 вызовов трансформера. Там в коде есть for-loop размером в 4 строки, который суммарно вызывает выполняет 4 вызова модели. Посмотрите на картинку поста - там есть многоточия между применениями L Module, которых в реальности нет! На иллюстрации буквально весь граф.

Думаете, в статье есть Ablation о том, как разные значения N и T влияют на результат? Нет, интересно почему? Может быть, от очень честной one-step аппроксимации у модели разболелась голова? Вместо этого авторы оформили куда более интересный подгон - анализ того, как мозг мыши можно представить в виде HRM.

Авторы ARC-бенчмарка, на котором был зарепорчен основной результат, провели анализ модели, и ключевые факты следующие:

- Если вместо HRM применить обычный трансформер такое же количество раз, результат получается почти такой же.
- Буст в качестве достигается засчёт того, что модель применяют много раз. Скор между 1 применением и 16 отличается примерно в 2 раза.

Очередная почти ничем не отличающаяся от бейзлайна поделка от великих учёных, которая не имеет никакого практического смысла, зато в сотый раз похоронившая трансформеры, согласно экспертам в телеграм-канале и в твиттере (в момент выхода). Вкуснота.

@knowledge_accumulator

Вижу некоторое количество сравнений текущего бума инвестиций в AI-инфраструктуру и инвестиций в железные дороги в США в 19-м веке. Так как я историей никогда не интересовался, то ничего не знаю про последнее, и иду читать материал / отправлять DeepResearch писать отчёты, чтобы лучше разобраться и понять. Может быть по результатам этого накатаю какой-то пост.

Но поделюсь тем, на что наткнулся тут — график размера американской железнодорожной сети по годам. В 1873-м году наступил кризис (читать в Википедии тут), тесно связанный с инвестициями в железные дороги. TLDR как и всегда: выпускали бонды, строили дороги, что-то произошло (государство решило уйти от серебряного стандарта) и не смогли расплатиться.

Однако на графике видно, что несмотря на кризис, спустя какое-то время, темпы не то что вернулись к прежним, а даже превзошли их. Все ринулись строить железную дорогу с ещё большей силой.

«рыночный крах» != «хайп / скам / технология с низким потенциалом»

[сначала прочитайте пост ниже, так работает репост в телеге 🤷‍♂️]
«Еще раз это не мошенничество - это типичная схема экосистемного кросс-субсидирования. Но для она может маскировать реальный рыночный спрос, особенно если такие внутренние потоки велики»

В случае этой картинки:
— у OpenAI весь спрос внешний; есть маленькая доля продажи в Microsoft, но последние достаточно плохо реализуют потенциал.
— на чипы Nvidia есть спрос от других AI-игроков вне схемы (Google, META, Anthropic, пока что китайские компании)
— Microsoft, Oracle, Intel и AMD делают огромные бизнесы, которые до недавнего времени не были связаны с AI (я понимаю что речь в оригинальном посте про рост ценности из-за AI, поэтому честно брать только прирост за последнее время, и мб он как раз может быть раздут).

Так что самый главный вопрос в том, продолжится ли прямая линия развития моделей и спроса на них, как нам рисуют OpenAI. Поживём — узнаем!

В прошлых постах мы посмотрели, как работают цепочки создания ценности. В этом я напишу про интересный феномен, достойный научной статьи: пример того, как цепочки создания ценности могут «сворачиваться в петлю», и почему анализ стратегических позиций в цепочке критически важен.

В классической цепочке создания ценности капитал и добавленная ценность движутся по линии:
инвесторы → производители → посредники → конечные пользователи.

Но есть феномен, который называют круговым финансированием, и именно это мы сейчас видим на рынке AI: капитал ходит по кругу между крупными игроками, которые одновременно инвестируют друг в друга и являются друг другу клиентами. Ну или короче компании покупают у себя самих, создавая видимость бурного роста.

Когда Microsoft одновременно крупнейший клиент, инвестор и облачный оператор для OpenAI, невозможно чётко определить, где в цепочке создаётся ценность, а где просто перераспределяются инвестиции. Или Nvidia - не просто поставщик. Она инвестирует в OpenAI, продаёт OpenAI чипы.

Что мы в итоге имеем: когда стратегические позиции выстраиваются на внутреннем контуре, а не на внешнем рынке, цепочка становится хрупкой: любое падение реального спроса разрушает весь круг финансирования. Дальше возможны два сценария:
1. реальный спрос догоняет инвестиции - экосистема устаканивается;
2. или пузырь лопается, как в 2000-м, когда обнаруживается, что «внешнего» рынка недостаточно, чтобы поддерживать такую архитектуру.

Еще раз это не мошенничество - это типичная схема экосистемного кросс-субсидирования. Но для она может маскировать реальный рыночный спрос, особенно если такие внутренние потоки велики. Наши любимые экосистемы зачастую так и работают, раздувая свои финансовые показатели.