Business Insider пишет про смену парадигмы тренировки роботов Tesla Optimus, тезисно:

— в конце июля сотрудникам сообщили, что направление будет больше фокусироваться на vision-only подходе, то есть с опорой только на изображения/видео. Это очень в духе Tesla: в разработке автопилота они придерживаются той же идеи, и отказываются от установки LiDAR'ов, как это делают другие игроки (например, Waymo).

— ранее компания использовала VR-гарнитуры и костюмы захвата движения, чтобы записать траектории движения людей, выполняющих задачи. Теперь они в первую очередь сосредоточатся на записи видеороликов с рабочими, выполняющими задания, чтобы научить робота разным навыкам.

— говорят, что отказ от костюмов захвата движения позволит команде быстрее масштабировать сбор данных, не отвлекаясь на починку/другие проблемы, тем самым увеличивая пропускную способность. Телеоперация и захват движения на данный момент является индустриальным стандартом: Figure.AI, Physical Intelligence, Boston Dynamics делают так (по крайней мере если верить публичным заявлениям).

— но видео не обычные, снятые с телефона на штативе. Сейчас работают с прототипом, в котором 5 камер — одна в шлеме и 4 в тяжелом «рюкзаке», смотрят в разные стороны.

Очень интересно, куда будет развиваться отрасль дальше, и насколько быстро vision-only подход обгонит сбор данных через захват движения.

OpenAI делают менеджерские перестановки и поглощают за $1.1B стартап Statsig, занимающийся продвинутым A/B тестированием и выкаткой фичей.

Сам анонс не сильно интересный, куда интереснее, что Kevin Weil, CPO компании, покидает свой пост... и переходит на роль VP of AI for Science, где будет тесно работать с Mark Chen, chief research officer OpenAI.

«Мы будем искать небольшую команду учёных, которые (i) являются экспертами мирового уровня в своей области; (ii) полностью владеют технологиями ИИ; и (iii) являются отличными популяризаторами науки. Вместе с небольшой командой исследователей мы хотим доказать, что ИИ-модели способны ускорить развитие фундаментальной науки и ускорить исследования по всему миру» — написал Kevin в LinkedIn.

Там же он цитирует несколько недавних работ или новостей, в рамках которых исследователи уже видят влияние ИИ, например, статью по квантовой теории поля, где LLM-ки внесли весомый вклад (см. картинку).

Ускорение научного прогресса уже долгое время упоминается OpenAI как одна из целей их работы, и вот, наконец, технология уже (почти) там!

TheInformation пишут об обновлённом прогнозе выручки и трат OpenAI на ближайшие годы. Тезисно:

— OpenAI повысила прогноз своих расходов с 2025 по 2029 год ещё больше, чем ожидалось ранее—до общей суммы в $115 млрд. Это примерно на $80 млрд больше, чем было запланировано раньше*. Эта цифра включает, например, увеличение трат на компенсации сотрудникам акциями на $20 миллиардов!

* тут и далее в посте — сравнение идёт с прогнозами от первого квартала 2025-го года, то есть исходные цифры достаточно свежие, и тем не менее вот такие изменения за полгода!

— (см. картинку) В этом году компания планирует потратить более $8 млрд, что примерно на $1,5 млрд выше прогноза, данного ранее в этом году. В следующем году эти расходы увеличатся более чем в два раза—до $17 млрд, что на $10 млрд больше, чем предполагалось ранее. В 2027 и 2028 годах компания прогнозирует расходы примерно на уровне $35 млрд и $45 млрд соответственно. В предыдущих прогнозах компания ожидала, что расходы в 2028 году составят $11 млрд, то есть новый прогноз превышает предыдущий более чем в четыре раза.

— Компания ожидает потратить $9 млрд на обучение моделей в этом году, что примерно на $2 млрд больше, чем прогнозировалось ранее, и около $19 млрд в следующем году

— Прогноз выручки на 2030 год вырос примерно на 15%, достигнув $200 млрд

— OpenAI ожидает получить почти $10 млрд доходов от ChatGPT в этом году, что примерно на $2 млрд выше прогноза, сделанного ранее, и почти $90 млрд доходов от этого чатбота в 2030 году, что примерно на 40% выше предыдущих оценок.

— OpenAI также повысила прогноз относительно выручки от пользователей, которые не платят за использование ChatGPT. Пока неясно, как именно компания планирует монетизировать эту аудиторию, но это может включать услуги, связанные с онлайн-покупками (писал тут, и как релиз GPT-5 вписывается в это), или какую-либо форму рекламы. Согласно прогнозам компании, такие услуги принесут около $110 млрд выручки в период с 2026 по 2030 год.

— В более ранних прогнозах OpenAI предполагала, что средний годовой доход на пользователя от монетизации бесплатных пользователей будет составлять $2 начиная со следующего года и достигнет $15 к концу десятилетия. При этом к тому времени компания рассчитывает иметь два миллиарда еженедельных активных пользователей. OpenAI также сообщила инвесторам, что маржа валовой прибыли таких продуктов будет сопоставима с маржой платформы Facebook, то есть примерно от 80% до 85%.

— OpenAI снизила прогноз доходов от своего API на $5 млрд в течение следующих пяти лет. Также прогноз доходов от «агентов» был уменьшен примерно на $26 млрд; возможно, что такие технологии будут чаще интегрироваться непосредственно в ChatGPT и продаваться вместе пакетом, а не отдельно.

Блин GPT-5 не может мне нарисовать эмодзи морского конька... ещё и начинает генерировать десяток других эмодзи


...но почему?

Если попросить ChatGPT и многие другие LLM показать вам эмодзи морского конька, то модель попробует это сделать, выведет, например, рыбу, начнёт корректировать, добавлять моллюсков, дельфинов, но не конька. Почему?

Ответ поможет найти механистическая интерпретируемость LLM, про которую я писал аж целый лонгрид на Хабре. LLM устроены так: входной текст (и эмодзи) переводятся в набор векторов, которые потом пропускают через несколько десятков последовательных слоёв, от первого к N-ному. Чем больше номер слоя, тем за, в среднем, более высокоуровневые паттерны он отвечает.

В самом конце вектор последнего слова умножается на огромную матрицу (lm_head), хранящие сотни тысяч векторов, и получается набор «схожестей». Часто берут самый похожий вектор. Каждый вектор был заранее сопоставлен со словами и эмодзи, поэтому мы можем перевести этот выбор самого похожего вектора в текст. Модель выучивается делать так, чтобы самый похожий вектор оказывался «правильным» (логично продолжал текст, то есть что после 2+2= должно идти 4).

И вот все слои LLM как бы формируют вектор, которы на выходе даст корректное продолжение. Каждый добавляет понемногу информации, «записывая» её в вектор. Первые слои могут добавить информацию вроде «дальше идёт пробел или буква», в серединке модели — уже что-то более сложное.

И можно сделать так: взять последний слой (lm_head), по которому оценивается схожесть с сотнями тысяч слов, и применять его не в конце модели, а после каждого слоя. Это стало возможно благодаря некоторым архитектурным изменениям трансформера, появившимся во времена GPT-2 — если вам интересны детали, то вот отрывок одной из моих лекций.

После этого мы можем посмотреть, что именно планировала предсказать модель после каждого слоя. Если взять LLAMA-3-70b и попросить показать эмодзи морского конька — то что хочет написать модель, и почему у неё это не получается?

Для ранних слоев описанный выше метод приводит к трудно интерпретируемым данным, но это ожидаемо. По мере продвижения по слоям модель итеративно уточняет информацию в векторе сначала в сторону понятий, полезных для продолжения текста, а затем в сторону окончательного прогноза, который и станет словом (токеном), который вы увидите в ответе.

Если смотреть на последний слой (и то, что по итогу напишет модель), то он корректно генерирует токен, отвечающий за начало эмодзи в юникоде, ĠðŁ, а затем дописывает «рыба».

Но что происходит в средних слоях? Модель «думает» не просто о байтах эмодзи. В векторе записаны *концепты*, в частности, морской конёк. На слое 52 вектор получается таким, что два самых ближайших для него — слова «морской» и «конёк». И позже, в верхних слоях, мы получаем смесь «море», «конь» и этого префикса эмодзи «ĠðŁ».

То есть в векторе записана информация о том, что 1) нужно написать байты, которые обозначают начало эмодзи 2) нужно написать морской конёк. При прохождении через последний слой (lm_head) это, казалось бы, должно раскодироваться в корректную последовательность.

Единственная проблема в том, что эмодзи морского конька не существует... поэтому, когда вектор морского конька + эмодзи попадает в lm_head, то выбирается ближайший существующий вектор, и ему соответствует рыба. А дальше этот токен попадает во вход модели для генерации следующего (пробела, точки, слова или чего-то ещё), и LLM «видит», что это не морской конёк. Она пытается это скорректировать, снова формирует вектор с информацией об эмодзи, но он не превращается в правильный.

Бонус: почему модель думает, что сможет написать эмодзи морского конька? Разве прочитав весь интернет она не должна понять, что его нет? Эмодзи морского конька существует, но не был принят в Unicode. ДВАЖДЫ! На других платформах и в старых эмодзи-паках он был. И было много обсуждений на форумах, на реддите, итд — которые модель наверняка видела.

Источник, код для воспроизведения и поиграться.

Визуализация самых вероятных предсказаний модели на месте эмодзи рыбки. Выделил 52й слой, описаный в посте выше, и 86й, последний в модели — именно токен отсюда попадёт в ответ, который увидит человек.

Из поста SemiAnalysis про AWS (облачные вычисления и датацентры Amazon, крупнейшее в мире) x Anthropic:

— Amazon уже давно разрабатывают свои чипы для AI, Trainium. Свежая версия Trainium 2 во многих отношениях отстаёт от систем Nvidia. Единица вычислений на них дороже, но зато памяти в пропорции больше — а именно в память упирается обучение и запуск моделей текущего поколения. И преимущество этого чипа в пропускной способности памяти на доллар идеально вписывается в амбициозную дорожную карту Anthropic в области обучения моделей и агентов рассуждениям.

— Anthropic принимали активное участие в процессе разработки чипа, и их влияние на дорожную карту Trainium только растёт. У Amazon есть свои LLM / GenAI модели, но они а) отстают от рынка б) не обновлялись с прошлого декабря, и у компании нет прям больших планов на свои разработки. Поэтому Anthropic, по сути, ключевой потребитель мощностей новых чипов на AWS.

— Anthropic делает ставку на эти чипы, и готовится потратить на них десятки миллиардов долларов. Это смелая ставка на, по сути, не протестированный и не самый надёжный чип.

— Amazon делает эти чипы в партнёрстве не с крупным игроком Broadcom, через которых, например, идут OpenAI и Google, а с игроками поменьше и менее опытными: Marvell и Alchip. Их технологии послабее, но зато маржа очень низкая, что, вкупе с фактом самостоятельного производства чипов памяти, приводит к лучшему балансу затрат и мощностей.

— Наконец, самое главное: в сентябре и декабре этого года будут запущены крупные кластеры на 1.3 Гигаватта на основе Trainium 2. Это самые крупные кластеры на GPU/XPU не от Nvidia. Anthropic получит мощности в своё распоряжение. В крупнейшем кампусе будет немногим меньше миллиона чипов (но каждый слабее отдельной H100/B100).

— AWS строит центры обработки данных быстрее, чем когда-либо.


Неужели на Claude 5 Opus будут нормальные лимиты и скорость ответов...

Старый TED-talk от соавтора рассуждающих моделей из OpenAI: https://youtu.be/MG9oqntiJKg (записи 6 месяцев, самому выступлению около 8). Я её не постил в канале, поэтому если вы не видели – то рекомендую посмотреть.