Сиолошная
Дайте код приглашения пожалуйста :( (напишите в комментарии если есть, я вам напишу в личку) UPD: получил UPD2: в комментария начинается раздача инвайтов. Я смог зайти с NordVPN США. Каждый, кто ввёл инвайт, получает один код, который можно ввести 4 раза.…
Если вдруг пропустили — под этим тредом продолжается раздача инвайтов. Огромное спасибо всем, кто взял один и отдал обратно 4, позволив большему количеству людей попробовать генерацию. Каждый инвайт можно ввести 4 раза! Поэтому не забывайте пробовать те, что скинули в чат совсем недавно.
Напомню, что всё работает в браузере на sora.com + американском VPN.
OpenAI уточнили, что сейчас лимит составляет 100 генераций в сутки, что гораздо больше того, что я ожидал. Не знаю, как им хватает мощностей — но пока не ясны масштабы, сколько людей пользуется, стало ли приложение вирусным или ещё нет. Sora 2 Pro ещё не выкатили, ждём.
Функция Камео, позволяющая перенести образ любого друга / публичной личности (которые дали согласие и отсканировали себя) — это бомба с точки зрения социальных взаимодействий. Кто придумал это — гений; у Google хорошая генерация видео уже была сколько-то времени, и они не выкатили это.
Кажется, с точки зрения маркетинга не сделали очевидную вещь: не собрали 10-20 звёзд и не заплатили им за то, чтобы они дали право использовать свою внешность. Хотя может быть пытались, но цифры запросили космические, тут хз.
Услышано в интернете:
«Клянусь богом, через 3 месяца обычные люди не будут знать, кто такой Сэм Альтман, но они на 100% узнают в нём sora boy»
Напомню, что всё работает в браузере на sora.com + американском VPN.
OpenAI уточнили, что сейчас лимит составляет 100 генераций в сутки, что гораздо больше того, что я ожидал. Не знаю, как им хватает мощностей — но пока не ясны масштабы, сколько людей пользуется, стало ли приложение вирусным или ещё нет. Sora 2 Pro ещё не выкатили, ждём.
Функция Камео, позволяющая перенести образ любого друга / публичной личности (которые дали согласие и отсканировали себя) — это бомба с точки зрения социальных взаимодействий. Кто придумал это — гений; у Google хорошая генерация видео уже была сколько-то времени, и они не выкатили это.
Кажется, с точки зрения маркетинга не сделали очевидную вещь: не собрали 10-20 звёзд и не заплатили им за то, чтобы они дали право использовать свою внешность. Хотя может быть пытались, но цифры запросили космические, тут хз.
Услышано в интернете:
«Клянусь богом, через 3 месяца обычные люди не будут знать, кто такой Сэм Альтман, но они на 100% узнают в нём sora boy»
🔥145❤🔥39👍22💩13🌚9🤣7🤔2👨💻2🤡1 1
This media is not supported in your browser
VIEW IN TELEGRAM
Epoch.AI замерили Sora 2 на... GPQA, бенчмарке по химии-физике в виде теста с 4 вариантами ответа. Просили угарного профессора из МГУ показать бумажку с ответом.
Правильно ответили на 55% вопросов (качество GPT-5 ~72%), что выше большого числа моделей прошлого поколения.
КАААК? Скорее всего всё просто: перед подачей на генерацию промпт пользователя переписывается (не только для этих тестов, но и вообще для любого запроса), и модель решает задачу и пишет «покажи профессора который показывает букву C».
На неделе вышла статья от Google DeepMind, где они проверяют модель генерации видео Veo 3 на большом количестве физических и логических задач, от решения лабиринтов до имплементации графовых алгоритмов (через заливание трубочек водой), и, как мне кажется, это куда более интересно — рекомендую посмотреть лендинг вот тут.
Правильно ответили на 55% вопросов (качество GPT-5 ~72%), что выше большого числа моделей прошлого поколения.
КАААК? Скорее всего всё просто: перед подачей на генерацию промпт пользователя переписывается (не только для этих тестов, но и вообще для любого запроса), и модель решает задачу и пишет «покажи профессора который показывает букву C».
На неделе вышла статья от Google DeepMind, где они проверяют модель генерации видео Veo 3 на большом количестве физических и логических задач, от решения лабиринтов до имплементации графовых алгоритмов (через заливание трубочек водой), и, как мне кажется, это куда более интересно — рекомендую посмотреть лендинг вот тут.
1🤯129🔥55❤🔥13🤣9👍6👨💻2🤔1💩1🤡1 1
Через 20 минут начинается OpenAI DevDay, открывающее выступление у CEO компании: https://www.youtube.com/live/hS1YqcewH0c
По слухам, представят:
— новую модель генерации и исправления изображений
— UI для создания AI-агентов прямо на сайте OpenAI. n8n и Zapier — всё!
— API Sora 2
На место был отправлен наш специальный агент @denissexy, будем следить за новостями 🫡
По слухам, представят:
— новую модель генерации и исправления изображений
— UI для создания AI-агентов прямо на сайте OpenAI. n8n и Zapier — всё!
— API Sora 2
На место был отправлен наш специальный агент @denissexy, будем следить за новостями 🫡
YouTube
OpenAI DevDay 2025: Opening Keynote with Sam Altman
Sam Altman kicks off DevDay 2025 with a keynote to explore ideas that will challenge how you think about building. Join us for announcements, live demos, and a vision of how developers are reshaping the future with AI.
🔥139 22❤🔥18👍15🤡6👨💻5🌚4💩1 1
This media is not supported in your browser
VIEW IN TELEGRAM
У проекта Neuralink по внедрению чипов в голову уже 12 пациентов, и даже у самого первого всё в порядке, сигналы считываются, соединение работает.
9й пациент выложил видео, на котором он, при помощи команды Neuralink, учится управлять робо-рукой для взаимодействия с реальным миром. Пациент парализован ниже шеи уже много лет, и для него это невероятная возможность вернуть себе хотя бы частичку автономии.
Вот что он пишет:
— Я впервые за много лет сам надел шляпу! Сам разогрел себе куриные наггетсы в микроволновке и сам поел! Я научился открывать холодильник и снимать и надевать крышки на банках! Мне даже дали попробовать медленно управлять своей инвалидной коляской внутри помещения. У меня отлично получилось! Также я установил новые рекорды (пока что) по перемещению наибольшего количества цилиндров на столе за 5 минут (39 штук) и по наибольшему количеству воткнутых в отверстия колышков в тесте на ловкость (обычно используется для пациентов после инсульта) за 5 минут (5 штук).
Прогресс поражает, а ведь скоро можно будет подключиться и управлять своим гуманоидным роботом или даже домашним флотом😳
9й пациент выложил видео, на котором он, при помощи команды Neuralink, учится управлять робо-рукой для взаимодействия с реальным миром. Пациент парализован ниже шеи уже много лет, и для него это невероятная возможность вернуть себе хотя бы частичку автономии.
Вот что он пишет:
— Я впервые за много лет сам надел шляпу! Сам разогрел себе куриные наггетсы в микроволновке и сам поел! Я научился открывать холодильник и снимать и надевать крышки на банках! Мне даже дали попробовать медленно управлять своей инвалидной коляской внутри помещения. У меня отлично получилось! Также я установил новые рекорды (пока что) по перемещению наибольшего количества цилиндров на столе за 5 минут (39 штук) и по наибольшему количеству воткнутых в отверстия колышков в тесте на ловкость (обычно используется для пациентов после инсульта) за 5 минут (5 штук).
Прогресс поражает, а ведь скоро можно будет подключиться и управлять своим гуманоидным роботом или даже домашним флотом
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥463🎉60❤🔥54🤯28👍11🤔3🌚3
Иллюстрации из блога Tim Urban 2015-го года. Удивительно, как многие воспринимают это буквально («пройдут секунды»).
Навеяно интервью с Ken Ono, математика, принимавшего участие в составлении Frontier Math Tier 4, самого сложного бенчмарка по математике для LLM на сегодняшний день. «В прошлом году ИИ помог мне открыть новые формулы для определения простых чисел, дав идею для поиска закономерностей, которые, я бы и не подумал искать.»
Ещё он сказал важную мысль, что у него и его коллег теперь очень важная роль после летнего проекта Frontier Math: вернуться в университеты и рассказать другим про AI, про его использование в исследовательской работе (как копайлота, а не замену учёному) и про ближайшее будущее.
Навеяно интервью с Ken Ono, математика, принимавшего участие в составлении Frontier Math Tier 4, самого сложного бенчмарка по математике для LLM на сегодняшний день. «В прошлом году ИИ помог мне открыть новые формулы для определения простых чисел, дав идею для поиска закономерностей, которые, я бы и не подумал искать.»
Ещё он сказал важную мысль, что у него и его коллег теперь очень важная роль после летнего проекта Frontier Math: вернуться в университеты и рассказать другим про AI, про его использование в исследовательской работе (как копайлота, а не замену учёному) и про ближайшее будущее.
🔥189❤🔥34🌚24👍19🤡7🤯1
Проснулись-потянулись, посмотрели на примерную разбивку трат OpenAI на вычислительные мощности... за 2024-й год. Источник — свежая инфографика от Epoch.Ai.
По разным оценкам и публикациям в СМИ выходит, что суммарно было потрачено примерно 7 миллиардов. Из них $2B (число должно быть достаточно точным, помню, читал у TheInformation) ушли на оплату мощностей для предоставления моделей в ChatGPT и API.
Остальные цифры оценены примерно, и у них может быть большой разброс.
Самая большая графа расходов — мощности на эксперименты и разработку, $4.5B. Примерно $400M ушло на тренировку GPT-4.5 (aka Orion, которая должна была стать GPT-5, если бы мы не увидели рассвет Thinking-моделей); оценка здесь сделана на основе предположительного кластера, на котором велось обучение, так как про него мы знаем больше, чем про саму модель. Обучение велось от 90 до 165 дней на 40k-100k видеокарт, плюс цена за один час работы GPU известна — так и получилась оценка. 90%-й доверительный интервал [$170M; $890M].
И на тренировку 4o / o1 / мини-версий и обновление чат-моделей ушла совсем кроха, $80M.
В 2025-м году доля голубой области, мощностей на инференс, должна сильно подрасти — всё таки ChatGPT существенно вырос, плюс рассуждающие модели теперь генерируют больше токенов.
По разным оценкам и публикациям в СМИ выходит, что суммарно было потрачено примерно 7 миллиардов. Из них $2B (число должно быть достаточно точным, помню, читал у TheInformation) ушли на оплату мощностей для предоставления моделей в ChatGPT и API.
Остальные цифры оценены примерно, и у них может быть большой разброс.
Самая большая графа расходов — мощности на эксперименты и разработку, $4.5B. Примерно $400M ушло на тренировку GPT-4.5 (aka Orion, которая должна была стать GPT-5, если бы мы не увидели рассвет Thinking-моделей); оценка здесь сделана на основе предположительного кластера, на котором велось обучение, так как про него мы знаем больше, чем про саму модель. Обучение велось от 90 до 165 дней на 40k-100k видеокарт, плюс цена за один час работы GPU известна — так и получилась оценка. 90%-й доверительный интервал [$170M; $890M].
И на тренировку 4o / o1 / мини-версий и обновление чат-моделей ушла совсем кроха, $80M.
В 2025-м году доля голубой области, мощностей на инференс, должна сильно подрасти — всё таки ChatGPT существенно вырос, плюс рассуждающие модели теперь генерируют больше токенов.
👍90❤🔥22 16👨💻7🔥3🤔3🤯2
Epoch.AI проверили GPT-5 Pro и Gemini DeepThink на FrontierMath Tier 4. Если забыли что это такое, то скопирую описание из прошлого поста:
> в него входят задачи со фронтира [математики], так называемые research-level problems. Они собраны от авторов, которые прямо сейчас толкают границу знаний, и основаны на проблемах, которые им пришлось преодолеть. Для некоторых задач (не знаю какой доли) необходимая теория или техники для решения ещё даже не опубликованы. Моделям самим придётся сделать «мини открытие» для решения. Некоторые из задач требуют недель работы профессионального математика.
GPT-5 Pro решила 6 задач, Gemini DeepThink 5; до этого лидировала GPT-5 High (упростили называется нейминг линейки🤡 ) с 4 задачами из 48.
При этом авторы прогнали GPT-5 Pro дважды: сначала руками на сайте ChatGPT, и на этой неделе, когда появилось API. И там и там модель решила по 6 задач, но суммарно уникальных 8. Каждая задача тут безумно сложна, и именно поэтому Epoch.AI выделяют, сколько могут решить модели текущего поколения. Одна из этих 8 задач не была решена ни одной моделью до этого.
Напомню, что OpenAI профинансировала создание FrontierMath, и имеет доступ к условиям 28 из 48 задач и их решениям. Из восьми задач, решённых хотя бы один раз с помощью GPT-5 Pro, пять входят в двадцадку, которую OpenAI не видели.
6-8 задач из 48 не кажется чем то мозговзрывающим, но ещё раз: это очень сложные проблемы исследовательского уровня, лежащие на границе науки на данный момент. Мне сложно сказать, сколько задач из этих модели должны решать, чтобы объявить, что математики, не пользующиеся AI в своих исследованиях, глупцы — может, 20, может, 45, но произойдет это очень скоро.
И, как мне кажется, это может быть одной из точек привлечения большого количества денег от государств: мы вам передовую технологию для ваших исследователей, вы нам — десятки миллиардов долларов. Иначе ведь наука начнёт отставать!
> в него входят задачи со фронтира [математики], так называемые research-level problems. Они собраны от авторов, которые прямо сейчас толкают границу знаний, и основаны на проблемах, которые им пришлось преодолеть. Для некоторых задач (не знаю какой доли) необходимая теория или техники для решения ещё даже не опубликованы. Моделям самим придётся сделать «мини открытие» для решения. Некоторые из задач требуют недель работы профессионального математика.
GPT-5 Pro решила 6 задач, Gemini DeepThink 5; до этого лидировала GPT-5 High (упростили называется нейминг линейки
При этом авторы прогнали GPT-5 Pro дважды: сначала руками на сайте ChatGPT, и на этой неделе, когда появилось API. И там и там модель решила по 6 задач, но суммарно уникальных 8. Каждая задача тут безумно сложна, и именно поэтому Epoch.AI выделяют, сколько могут решить модели текущего поколения. Одна из этих 8 задач не была решена ни одной моделью до этого.
Напомню, что OpenAI профинансировала создание FrontierMath, и имеет доступ к условиям 28 из 48 задач и их решениям. Из восьми задач, решённых хотя бы один раз с помощью GPT-5 Pro, пять входят в двадцадку, которую OpenAI не видели.
6-8 задач из 48 не кажется чем то мозговзрывающим, но ещё раз: это очень сложные проблемы исследовательского уровня, лежащие на границе науки на данный момент. Мне сложно сказать, сколько задач из этих модели должны решать, чтобы объявить, что математики, не пользующиеся AI в своих исследованиях, глупцы — может, 20, может, 45, но произойдет это очень скоро.
И, как мне кажется, это может быть одной из точек привлечения большого количества денег от государств: мы вам передовую технологию для ваших исследователей, вы нам — десятки миллиардов долларов. Иначе ведь наука начнёт отставать!
Please open Telegram to view this post
VIEW IN TELEGRAM
2🔥177❤🔥36 26👍11🤯8🤡6👎4🤔3💩1
kyrillic
1️⃣ Наверное уже всем очевидно, что с LLM как технологией мы уперлись в потолок. Я об этом писал еще 2,5 года назад.
Please open Telegram to view this post
VIEW IN TELEGRAM
2🤣270🤡60🌚22👍11 7❤🔥2💩1
Forwarded from Техасский Вестник
Media is too big
VIEW IN TELEGRAM
План миссии Flight 11. До старта ~ 8 часов.
Большой финал целого поколения системы Starship V2 и ускорителей Super Heavy V1 пройдёт ради сбора данных для Starship V3.
Основные цели этой миссии: испытать пределы корабля Starship S38 в атмосфере, выгрузить макеты спутников Starlink V3, и провести эксперименты с повторным запуском и экстренной посадкой Super Heavy B15-2 в заливе.
Основной риск: потеря корабля в атмосфере из-за экспериментов теплозащиты — участки без плиток стали ещё больше и также сняли плитку в самом носу. Это наиболее опасная зона. Также внимательно следим за первой ступенью, на которой в повторный полёт полетят 24 из 33 двигателей Raptor 2 и новый сценарий экстренной посадки.
Ключевые этапы миссии Flight 11:
⚪️ Старт и прохождение зоны Max Q;
⚪️ Горячее разделение с плановым отклоном ускорителя в нужную сторону;
⚪️ Запуск 6 двигателей на Starship S38 и перезапуск 10 двигателей (3 будут работать) Super Heavy B15-2 для первого тормозного манёвра;
⚪️ Сброс HSR и вход Super Heavy B15-2 в атмосферу под более высоким углом атаки с прохождением зоны максимальных нагрузок;
⚪️ Перезапуск 13 двигателей Super Heavy B15-2 для второго тормозного манёвра
⚪️ Тест экстренного увода ускорителя Super Heavy B15-2 по схеме 5-3-2: будут сперва 5, затем 3 центральных, и в конце 2 двигателя;
⚪️ B15-2 сперва зависнет в воздухе над поверхностью, а затем упадёт в воду для утилизации;
⚪️ Выход корабля Starship S38 на плановую незамкнутую орбиту;
⚪️ Открытие шлюза грузового отсека;
⚪️ Демонстрация выгрузки 8 макетов спутников Starlink V3;
⚪️ Тест перезапуска 1 двигателя Raptor на орбите;
⚪️ Вход Starship S38 в атмосферу, и прохождение зоны максимального нагрева и нагрузок;
⚪️ Обрезанная теплозащита Starship S38 выдерживает вход в атмосферу, новые плавники и функциональный механизма посадки не расплавляются;
⚪️ Перезапуск 3 двигателей S38 с симуляцией мягкой посадки в океан в нужной точке.
Время запуска Flight 11 на 13 октября:
- 18:30 CT
- 23:30 UTC
- 01:30 CET (14 октября)
- 02:30 MSK (14 октября)
Окно запуска продлится 60 минут. Переносы маловероятны.
Официальная трансляция в 4K тут (стартует за 35-40 минут до запуска) — https://x.com/i/broadcasts/1mrGmBjyEZgJy
Всем заранее приятного просмотра, команде удачи, и посетителям беречь уши.
И помните, что успех не гарантирован, но точно будет весело🚀
Большой финал целого поколения системы Starship V2 и ускорителей Super Heavy V1 пройдёт ради сбора данных для Starship V3.
Основные цели этой миссии: испытать пределы корабля Starship S38 в атмосфере, выгрузить макеты спутников Starlink V3, и провести эксперименты с повторным запуском и экстренной посадкой Super Heavy B15-2 в заливе.
Основной риск: потеря корабля в атмосфере из-за экспериментов теплозащиты — участки без плиток стали ещё больше и также сняли плитку в самом носу. Это наиболее опасная зона. Также внимательно следим за первой ступенью, на которой в повторный полёт полетят 24 из 33 двигателей Raptor 2 и новый сценарий экстренной посадки.
Ключевые этапы миссии Flight 11:
⚪️ Старт и прохождение зоны Max Q;
⚪️ Горячее разделение с плановым отклоном ускорителя в нужную сторону;
⚪️ Запуск 6 двигателей на Starship S38 и перезапуск 10 двигателей (3 будут работать) Super Heavy B15-2 для первого тормозного манёвра;
⚪️ Сброс HSR и вход Super Heavy B15-2 в атмосферу под более высоким углом атаки с прохождением зоны максимальных нагрузок;
⚪️ Перезапуск 13 двигателей Super Heavy B15-2 для второго тормозного манёвра
⚪️ Тест экстренного увода ускорителя Super Heavy B15-2 по схеме 5-3-2: будут сперва 5, затем 3 центральных, и в конце 2 двигателя;
⚪️ B15-2 сперва зависнет в воздухе над поверхностью, а затем упадёт в воду для утилизации;
⚪️ Выход корабля Starship S38 на плановую незамкнутую орбиту;
⚪️ Открытие шлюза грузового отсека;
⚪️ Демонстрация выгрузки 8 макетов спутников Starlink V3;
⚪️ Тест перезапуска 1 двигателя Raptor на орбите;
⚪️ Вход Starship S38 в атмосферу, и прохождение зоны максимального нагрева и нагрузок;
⚪️ Обрезанная теплозащита Starship S38 выдерживает вход в атмосферу, новые плавники и функциональный механизма посадки не расплавляются;
⚪️ Перезапуск 3 двигателей S38 с симуляцией мягкой посадки в океан в нужной точке.
Время запуска Flight 11 на 13 октября:
- 18:30 CT
- 23:30 UTC
- 01:30 CET (14 октября)
- 02:30 MSK (14 октября)
Окно запуска продлится 60 минут. Переносы маловероятны.
Официальная трансляция в 4K тут (стартует за 35-40 минут до запуска) — https://x.com/i/broadcasts/1mrGmBjyEZgJy
Всем заранее приятного просмотра, команде удачи, и посетителям беречь уши.
И помните, что успех не гарантирован, но точно будет весело
Please open Telegram to view this post
VIEW IN TELEGRAM
👍68🔥34❤🔥16💩6🤔2🤯2👨💻2
Сегодня OpenAI и Broadcom объявили о сотрудничестве, про которое ходили слухи последние года полтора. Партнёрство направлено на создание специализированных ускорителей (замену GPU) для развёртывания моделей OpenAI. Планируется поставить оборудования с суммарным потреблением энергии на 10 ГВт к концу 2029-го.
Благодаря разработке собственных чипов (а позже — полноценных систем, от электропитания до сетевого соединения), OpenAI сможет интегрировать полученный опыт создания передовых моделей и продуктов непосредственно в железо, существенно увеличивая эффективность последнего.
Обе компании работают вместе уже 18 месяцев, и, если верить новостям, за это время в OpenAI перебралось несколько топовых специалистов, разработавших TPU — специальный чип для нейросетей от Google. Его тоже делал и делает Broadcom (с 2015-го года!). Так что ребята не новички в этом деле.
Акции Broadcom на фоне новостей подскочили на 10%, что позволило стать компании 7-й в мире по капитализации и обогнать Saudi Aramco (компанию с самой большой прибылью), TSMC (делающей чипы для Nvidia), Oracle (которые строят датацентры для OpenAI).
===
А чуть больше недели назад OpenAI объявили о сотрудничестве с AMD и заключении договоренностей на поставку железа (тоже для инференса) на 6 ГВт. По ходу покупки железа OpenAI будут получать право на покупку акций AMD по копеечной цене, вплоть до 10% компании. Интерес AMD понятен — они и без того опаздывают на поезд ИИ-чипов, оставляя Nvidia в положении монополиста, и партнёрство с таким крупным игроком с получением обязательств на покупку и установку и содержание огромных объемов продукции поможет найти себя на рынке.
Вам может казаться, что карты AMD не идут ни в какое сравнение с Nvidia, и долгое время это было правдой. Но за последний год они сделали несколько прыжков, тесно работали с компаниями, и смогли выйти +- на один и тот же уровень. Их карты могут быть чуть менее производительными, однако маржа у Nvidia больше 50%. Если покупать чипы на $100B — больше 50 миллиардов долларов осядут на балансе; в то же время AMD может существенно уступить, и потому в пересчёте на доллары их карты не то что могут быть, а уже становятся выгоднее (см. тут) — но только если мы говорим об инференсе, а не тренировке, в которой Nvidia остаются королями.
Итого OpenAI ожидает датацентров на 26 ГВт энергии к 2030-му году. Это ОЧЕНЬ много — два пиковых потребления всего Нью-Йорка в жаркий летний день. Для сравнения, 2025-й год компания начинала с 0.2 ГВт мощностей, к концу 2025-го будет чуть больше 2 ГВт, и эта цифра увеличится в 13 раз в ближайшие 3.5 года. При этом все яйца разложены в разные корзины: есть и свои чипы, и договорённости с Nvidia, и с их конкурентами AMD. Даже если часть подрядов не будет выполнена / будет поставлена с задержками — можно двигаться дальше. А самое главное срезать маржу😀 и не переплачивать.
Сами размеры ставок и договорённостей кажутся настолько гигантскими, что возникает вопрос того, успеют ли поставить оборудование в срок [и сможет ли OpenAI заплатить]. Я за последние полторы недели прочитал много аналитики, мол, не успеют, опоздают на год-полтора, ресурсов нет и так далее. Но если это и вправду так, то положение OpenAI в разы лучше конкурентов, так как они пришли первыми. Когда придут вторые-третьи, то Oracle / Broadcom / TSMC / Samsung / все остальные компании в цепочке разведут руками и скажут «Сори, мы загружены по самое не могу, вас брать просто некуда. С утра до ночи работаем на Дядю Сэма»
😏
Благодаря разработке собственных чипов (а позже — полноценных систем, от электропитания до сетевого соединения), OpenAI сможет интегрировать полученный опыт создания передовых моделей и продуктов непосредственно в железо, существенно увеличивая эффективность последнего.
Обе компании работают вместе уже 18 месяцев, и, если верить новостям, за это время в OpenAI перебралось несколько топовых специалистов, разработавших TPU — специальный чип для нейросетей от Google. Его тоже делал и делает Broadcom (с 2015-го года!). Так что ребята не новички в этом деле.
Акции Broadcom на фоне новостей подскочили на 10%, что позволило стать компании 7-й в мире по капитализации и обогнать Saudi Aramco (компанию с самой большой прибылью), TSMC (делающей чипы для Nvidia), Oracle (которые строят датацентры для OpenAI).
===
А чуть больше недели назад OpenAI объявили о сотрудничестве с AMD и заключении договоренностей на поставку железа (тоже для инференса) на 6 ГВт. По ходу покупки железа OpenAI будут получать право на покупку акций AMD по копеечной цене, вплоть до 10% компании. Интерес AMD понятен — они и без того опаздывают на поезд ИИ-чипов, оставляя Nvidia в положении монополиста, и партнёрство с таким крупным игроком с получением обязательств на покупку и установку и содержание огромных объемов продукции поможет найти себя на рынке.
Вам может казаться, что карты AMD не идут ни в какое сравнение с Nvidia, и долгое время это было правдой. Но за последний год они сделали несколько прыжков, тесно работали с компаниями, и смогли выйти +- на один и тот же уровень. Их карты могут быть чуть менее производительными, однако маржа у Nvidia больше 50%. Если покупать чипы на $100B — больше 50 миллиардов долларов осядут на балансе; в то же время AMD может существенно уступить, и потому в пересчёте на доллары их карты не то что могут быть, а уже становятся выгоднее (см. тут) — но только если мы говорим об инференсе, а не тренировке, в которой Nvidia остаются королями.
Итого OpenAI ожидает датацентров на 26 ГВт энергии к 2030-му году. Это ОЧЕНЬ много — два пиковых потребления всего Нью-Йорка в жаркий летний день. Для сравнения, 2025-й год компания начинала с 0.2 ГВт мощностей, к концу 2025-го будет чуть больше 2 ГВт, и эта цифра увеличится в 13 раз в ближайшие 3.5 года. При этом все яйца разложены в разные корзины: есть и свои чипы, и договорённости с Nvidia, и с их конкурентами AMD. Даже если часть подрядов не будет выполнена / будет поставлена с задержками — можно двигаться дальше. А самое главное срезать маржу
Сами размеры ставок и договорённостей кажутся настолько гигантскими, что возникает вопрос того, успеют ли поставить оборудование в срок [и сможет ли OpenAI заплатить]. Я за последние полторы недели прочитал много аналитики, мол, не успеют, опоздают на год-полтора, ресурсов нет и так далее. Но если это и вправду так, то положение OpenAI в разы лучше конкурентов, так как они пришли первыми. Когда придут вторые-третьи, то Oracle / Broadcom / TSMC / Samsung / все остальные компании в цепочке разведут руками и скажут «Сори, мы загружены по самое не могу, вас брать просто некуда. С утра до ночи работаем на Дядю Сэма»
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤🔥94🤯46👍40 12🔥10🌚6🤔4👎3👨💻2💩1💔1
Сиолошная
Сегодня OpenAI и Broadcom объявили о сотрудничестве, про которое ходили слухи последние года полтора. Партнёрство направлено на создание специализированных ускорителей (замену GPU) для развёртывания моделей OpenAI. Планируется поставить оборудования с суммарным…
Это Sama трансформирует планету в одну большую GPU-фабрику.
1🤣231🌚54💩27 27👎14🤡7🔥5❤🔥4
Forwarded from Knowledge Accumulator
Я отупел от прочтения Hierarchical Reasoning Model [2025]
На бумаге идея следующая - делаем такую модель, которая состоит из 2 компонент - "медленной" и "быстрой". Медленная будет применяться реже и отвечать за более "глобальное" планирование, а вот быстрая будет дорабатывать детали. Как обычно, приводится неуместная аналогия с человеческим мозгом, который как бы умеет оперировать на разных частотах одновременно. Работает примерно так:
Есть 2 скрытых состояния, который обновляются двумя разными трансформерами. То, что авторы называют forward pass, состоит из N * T шагов. На каждом из них "быстрая сеть" берёт быстрое состояние, медленное состояние, эмбеддинг входа, и выдаёт обновлённое быстрое состояние. Раз в T шагов просыпается медленная сеть, берёт быстрое и медленное состояние, и выдаёт новое медленное состояние. Спустя N * T шагов применяется модель, которая превращает медленное состояние в выходное предсказание.
Авторы говорят - пробрасывать градиенты сквозь всю эту схему - скукотища и занимает кучу памяти. Решение нашли интересное - забить. Градиенты текут только во время последнего шага, для которого все предыдущие состояния считаются константой.
На вопрос "Схуяли?" авторы отвечают "Consider an idealized HRM behavior", приводят пачку невыполняющихся в данной ситуации формул и вуаля - 1-step gradient approximation готов. Unbiased, мамой клянусь.
На самом деле, то, что авторы называют forward pass, это в реальности только 1 шаг применения, и настоящий forward pass это несколько вот этих циклов по N*T шагов, вплоть до 16. Там ещё есть обучаемый на основе Q-learning модуль, который может сказать моделям "Астанавитесь" и тем самым сэкономить ресурсы, если модель нашла решение быстрее.
Вот этот самый 1-step approximation применяется на каждом шаге внешнего цикла, то есть получается, градиенты сквозь время всё-таки пробрасываются, но делается это раз в N*T шагов. По мнению авторов, это уже не так скучно.
Схема вроде работает и показывает неплохой результат, несмотря на подозрительную схему аппроксимации градиентов. Но пока вам рассказывали про сложную схему, фокусник утаил главную деталь. Знаете, какое значение N и T используется во всех экспериментах? Знаете, во сколько раз так называемая быстрая модель применяется чаще, чем медленная? Знаете, сколько памяти экономит one-step gradient approximation?
Ответ убил:N=2, T=2 .
Вся эта мишура с "иерархичностью" не имеет большого смысла. Один шаг применения HRM - это суммарно 6 вызовов трансформера. Там в коде есть for-loop размером в 4 строки, который суммарно вызывает выполняет 4 вызова модели. Посмотрите на картинку поста - там есть многоточия между применениями L Module, которых в реальности нет! На иллюстрации буквально весь граф.
Думаете, в статье есть Ablation о том, как разные значения N и T влияют на результат? Нет, интересно почему? Может быть, от очень честной one-step аппроксимации у модели разболелась голова? Вместо этого авторы оформили куда более интересный подгон - анализ того, как мозг мыши можно представить в виде HRM.
Авторы ARC-бенчмарка, на котором был зарепорчен основной результат, провели анализ модели, и ключевые факты следующие:
- Если вместо HRM применить обычный трансформер такое же количество раз, результат получается почти такой же.
- Буст в качестве достигается засчёт того, что модель применяют много раз. Скор между 1 применением и 16 отличается примерно в 2 раза.
Очередная почти ничем не отличающаяся от бейзлайна поделка от великих учёных, которая не имеет никакого практического смысла, зато в сотый раз похоронившая трансформеры, согласно экспертам в телеграм-канале и в твиттере (в момент выхода). Вкуснота.
@knowledge_accumulator
На бумаге идея следующая - делаем такую модель, которая состоит из 2 компонент - "медленной" и "быстрой". Медленная будет применяться реже и отвечать за более "глобальное" планирование, а вот быстрая будет дорабатывать детали. Как обычно, приводится неуместная аналогия с человеческим мозгом, который как бы умеет оперировать на разных частотах одновременно. Работает примерно так:
Есть 2 скрытых состояния, который обновляются двумя разными трансформерами. То, что авторы называют forward pass, состоит из N * T шагов. На каждом из них "быстрая сеть" берёт быстрое состояние, медленное состояние, эмбеддинг входа, и выдаёт обновлённое быстрое состояние. Раз в T шагов просыпается медленная сеть, берёт быстрое и медленное состояние, и выдаёт новое медленное состояние. Спустя N * T шагов применяется модель, которая превращает медленное состояние в выходное предсказание.
Авторы говорят - пробрасывать градиенты сквозь всю эту схему - скукотища и занимает кучу памяти. Решение нашли интересное - забить. Градиенты текут только во время последнего шага, для которого все предыдущие состояния считаются константой.
На вопрос "Схуяли?" авторы отвечают "Consider an idealized HRM behavior", приводят пачку невыполняющихся в данной ситуации формул и вуаля - 1-step gradient approximation готов. Unbiased, мамой клянусь.
На самом деле, то, что авторы называют forward pass, это в реальности только 1 шаг применения, и настоящий forward pass это несколько вот этих циклов по N*T шагов, вплоть до 16. Там ещё есть обучаемый на основе Q-learning модуль, который может сказать моделям "Астанавитесь" и тем самым сэкономить ресурсы, если модель нашла решение быстрее.
Вот этот самый 1-step approximation применяется на каждом шаге внешнего цикла, то есть получается, градиенты сквозь время всё-таки пробрасываются, но делается это раз в N*T шагов. По мнению авторов, это уже не так скучно.
Схема вроде работает и показывает неплохой результат, несмотря на подозрительную схему аппроксимации градиентов. Но пока вам рассказывали про сложную схему, фокусник утаил главную деталь. Знаете, какое значение N и T используется во всех экспериментах? Знаете, во сколько раз так называемая быстрая модель применяется чаще, чем медленная? Знаете, сколько памяти экономит one-step gradient approximation?
Ответ убил:
Вся эта мишура с "иерархичностью" не имеет большого смысла. Один шаг применения HRM - это суммарно 6 вызовов трансформера. Там в коде есть for-loop размером в 4 строки, который суммарно вызывает выполняет 4 вызова модели. Посмотрите на картинку поста - там есть многоточия между применениями L Module, которых в реальности нет! На иллюстрации буквально весь граф.
Думаете, в статье есть Ablation о том, как разные значения N и T влияют на результат? Нет, интересно почему? Может быть, от очень честной one-step аппроксимации у модели разболелась голова? Вместо этого авторы оформили куда более интересный подгон - анализ того, как мозг мыши можно представить в виде HRM.
Авторы ARC-бенчмарка, на котором был зарепорчен основной результат, провели анализ модели, и ключевые факты следующие:
- Если вместо HRM применить обычный трансформер такое же количество раз, результат получается почти такой же.
- Буст в качестве достигается засчёт того, что модель применяют много раз. Скор между 1 применением и 16 отличается примерно в 2 раза.
Очередная почти ничем не отличающаяся от бейзлайна поделка от великих учёных, которая не имеет никакого практического смысла, зато в сотый раз похоронившая трансформеры, согласно экспертам в телеграм-канале и в твиттере (в момент выхода). Вкуснота.
@knowledge_accumulator
👍123🌚42🤣36 24🔥11🤡10😈3❤🔥2 2👎1👨💻1
Вижу некоторое количество сравнений текущего бума инвестиций в AI-инфраструктуру и инвестиций в железные дороги в США в 19-м веке. Так как я историей никогда не интересовался, то ничего не знаю про последнее, и иду читать материал / отправлять DeepResearch писать отчёты, чтобы лучше разобраться и понять. Может быть по результатам этого накатаю какой-то пост.
Но поделюсь тем, на что наткнулся тут — график размера американской железнодорожной сети по годам. В 1873-м году наступил кризис (читать в Википедии тут), тесно связанный с инвестициями в железные дороги. TLDR как и всегда: выпускали бонды, строили дороги, что-то произошло (государство решило уйти от серебряного стандарта) и не смогли расплатиться.
Однако на графике видно, что несмотря на кризис, спустя какое-то время, темпы не то что вернулись к прежним, а даже превзошли их. Все ринулись строить железную дорогу с ещё большей силой.
«рыночный крах» != «хайп / скам / технология с низким потенциалом»
Но поделюсь тем, на что наткнулся тут — график размера американской железнодорожной сети по годам. В 1873-м году наступил кризис (читать в Википедии тут), тесно связанный с инвестициями в железные дороги. TLDR как и всегда: выпускали бонды, строили дороги, что-то произошло (государство решило уйти от серебряного стандарта) и не смогли расплатиться.
Однако на графике видно, что несмотря на кризис, спустя какое-то время, темпы не то что вернулись к прежним, а даже превзошли их. Все ринулись строить железную дорогу с ещё большей силой.
«рыночный крах» != «хайп / скам / технология с низким потенциалом»
👍71🤔60❤🔥23 6🤡5🌚4🎉3👨💻1
[сначала прочитайте пост ниже, так работает репост в телеге 🤷♂️]
«Еще раз это не мошенничество - это типичная схема экосистемного кросс-субсидирования. Но для она может маскировать реальный рыночный спрос, особенно если такие внутренние потоки велики»
В случае этой картинки:
— у OpenAI весь спрос внешний; есть маленькая доля продажи в Microsoft, но последние достаточно плохо реализуют потенциал.
— на чипы Nvidia есть спрос от других AI-игроков вне схемы (Google, META, Anthropic, пока что китайские компании)
— Microsoft, Oracle, Intel и AMD делают огромные бизнесы, которые до недавнего времени не были связаны с AI (я понимаю что речь в оригинальном посте про рост ценности из-за AI, поэтому честно брать только прирост за последнее время, и мб он как раз может быть раздут).
Так что самый главный вопрос в том, продолжится ли прямая линия развития моделей и спроса на них, как нам рисуют OpenAI. Поживём — узнаем!
«Еще раз это не мошенничество - это типичная схема экосистемного кросс-субсидирования. Но для она может маскировать реальный рыночный спрос, особенно если такие внутренние потоки велики»
В случае этой картинки:
— у OpenAI весь спрос внешний; есть маленькая доля продажи в Microsoft, но последние достаточно плохо реализуют потенциал.
— на чипы Nvidia есть спрос от других AI-игроков вне схемы (Google, META, Anthropic, пока что китайские компании)
— Microsoft, Oracle, Intel и AMD делают огромные бизнесы, которые до недавнего времени не были связаны с AI (я понимаю что речь в оригинальном посте про рост ценности из-за AI, поэтому честно брать только прирост за последнее время, и мб он как раз может быть раздут).
Так что самый главный вопрос в том, продолжится ли прямая линия развития моделей и спроса на них, как нам рисуют OpenAI. Поживём — узнаем!
2 40👍28🤔12🌚3🤡2👎1
Forwarded from Strategic move: стратегия, продукт и AI (Julia Bilinkis)
В прошлых постах мы посмотрели, как работают цепочки создания ценности. В этом я напишу про интересный феномен, достойный научной статьи: пример того, как цепочки создания ценности могут «сворачиваться в петлю», и почему анализ стратегических позиций в цепочке критически важен.
В классической цепочке создания ценности капитал и добавленная ценность движутся по линии:
инвесторы → производители → посредники → конечные пользователи.
Но есть феномен, который называют круговым финансированием, и именно это мы сейчас видим на рынке AI: капитал ходит по кругу между крупными игроками, которые одновременно инвестируют друг в друга и являются друг другу клиентами. Ну или короче компании покупают у себя самих, создавая видимость бурного роста.
Когда Microsoft одновременно крупнейший клиент, инвестор и облачный оператор для OpenAI, невозможно чётко определить, где в цепочке создаётся ценность, а где просто перераспределяются инвестиции. Или Nvidia - не просто поставщик. Она инвестирует в OpenAI, продаёт OpenAI чипы.
Что мы в итоге имеем: когда стратегические позиции выстраиваются на внутреннем контуре, а не на внешнем рынке, цепочка становится хрупкой: любое падение реального спроса разрушает весь круг финансирования. Дальше возможны два сценария:
1. реальный спрос догоняет инвестиции - экосистема устаканивается;
2. или пузырь лопается, как в 2000-м, когда обнаруживается, что «внешнего» рынка недостаточно, чтобы поддерживать такую архитектуру.
Еще раз это не мошенничество - это типичная схема экосистемного кросс-субсидирования. Но для она может маскировать реальный рыночный спрос, особенно если такие внутренние потоки велики. Наши любимые экосистемы зачастую так и работают, раздувая свои финансовые показатели.
В классической цепочке создания ценности капитал и добавленная ценность движутся по линии:
инвесторы → производители → посредники → конечные пользователи.
Но есть феномен, который называют круговым финансированием, и именно это мы сейчас видим на рынке AI: капитал ходит по кругу между крупными игроками, которые одновременно инвестируют друг в друга и являются друг другу клиентами. Ну или короче компании покупают у себя самих, создавая видимость бурного роста.
Когда Microsoft одновременно крупнейший клиент, инвестор и облачный оператор для OpenAI, невозможно чётко определить, где в цепочке создаётся ценность, а где просто перераспределяются инвестиции. Или Nvidia - не просто поставщик. Она инвестирует в OpenAI, продаёт OpenAI чипы.
Что мы в итоге имеем: когда стратегические позиции выстраиваются на внутреннем контуре, а не на внешнем рынке, цепочка становится хрупкой: любое падение реального спроса разрушает весь круг финансирования. Дальше возможны два сценария:
1. реальный спрос догоняет инвестиции - экосистема устаканивается;
2. или пузырь лопается, как в 2000-м, когда обнаруживается, что «внешнего» рынка недостаточно, чтобы поддерживать такую архитектуру.
Еще раз это не мошенничество - это типичная схема экосистемного кросс-субсидирования. Но для она может маскировать реальный рыночный спрос, особенно если такие внутренние потоки велики. Наши любимые экосистемы зачастую так и работают, раздувая свои финансовые показатели.
👍70🤡21❤🔥8🔥8👎3🤔1
Forwarded from Техасский Вестник
Кадры вчерашней посадки Starship S38 в Индийском океане. Видно прогар обоих баков, утечку метана и кислорода, слой оксидации на теплозащите и пожар из грузового отсека — все места, где сняли плитки перед полётом
1🔥179🤯38❤🔥20 10🌚3👨💻1