Всю последнюю неделю DeepSeek проводили «дни открытых дверей» — каждый день публиковали репозиторий с кодом, который так или иначе используется ими для создания и применения передовых LLM. Каждый мини-релиз достаточно технический, про разные инженерные оптимизации, но вот сегодняшний более верхнеуровневый, и он рассказывает про tokenomics — экономику токенов (сколько тратят, сколько зарабатывают, итд). Но сначала пара тех. деталей:

— в процессе генерации ответа на ваш запрос есть 2 части: предподсчёт векторов для вашего конкретного промпта (можно распараллелить и прогнать все слова за раз) и генерация ответа (по одному за раз)
— эти части физически запускаются на разных серверах: первая на 4 нодах (мини-коробка с 8 GPU), вторая на 18
— и там, и там суммарно на всех GPU лежит на 32 больше эксперта (части каждого слоя модели), чем их есть: они избыточны, но помогают в ситуациях, когда какие-то GPU перегружены (на одного эксперта прилетело больше вычислений, чем на другие -> он будет медленнее -> тормозит весь процесс). Сходу не смог найти, но мне кажется я где-то читал, что они на лету считают статистики использования экспертов и держат самые «горячие», то есть эти 32 постоянно меняются (удаляются, вместо них загружаются другие)

Теперь про экономику:
— суммарно у DeepSeek позавчера (да, они прям за конкретный день сделали полный расчёт) работало ~275 нод, то есть ~2200 GPU для инференса. Все они работают в пиковые часы (~16 часов в сутки), но когда запросов мало, то их число снижается до ~60 нод. Теперь понятно, почему компания на этой неделе начала проводить акции со скидками по 50-75% в определённое время
— за сутки при цене в два доллара за одну карту (это нормальная рыночная цена) получилось бы расходов на $87,072. За это же время сервера получили на вход 608 миллиардов токенов и сгенерировали 168 миллиардов
— средняя скорость генерации 20-22 токена в секунду, что сильно меньше чем у конкурентов, но не пугайтесь: это не потому что они сделали неэффективно, а потому что во всей системе за раз обрабатываются ОГРОМНЫЕ батчи (наборы запросов) — только так удаётся достичь а) высокой эффективности использования GPU б) низких цен
— то есть скорость обработки суммарная очень высокая, но скорость генерации ответа на каждый запрос низкая, потому что запросов набивается до краёв. Это определённо ухудшает некоторые юзкейсы, но а) ахахха 20 токенов в секунду это всё ещё быстрее чем у GPT-4.5 (~13) б) преступно низкая цена покрывает это с запасом
— если брать цену использования R1 (она сильно выше, чем DeepSeek V3, обычная чат-модель без рассуждений), то за сутки компания бы получила выручку в $562,027. Несложный подсчёт покажет, что в год выйдет примерно $205M с наценкой $562k/$87k = 545%

— ...и это та цифра, которую разносят в СМИ и Твиттере. Цифра, конечно же, неправильная, и сами DeepSeek об этом пишут, но кто читает? Она завышена, потому что: 1) цена на чат-модель v3 существенно ниже 2) модель в браузере и в приложении на телефоне БЕС ПЛАТ НА 3) не учитываются новые ночные скидки
— реальная цифра сильно ниже, но её сложно оценить без понимания соотношения чат/не чат и платное/бесплатное использование. Думаю, DeepSeek а) довольны б) зарабатывают, а не терпят убытки
— 🙂по информации Semianalysis, Gross Margin у OpenAI на инференс 65-75% (но я по контексту не понял, это с учётом субсидий бесплатным пользователям или нет). На GPT-4.5 и o1, наверное, сильно выше.
— конкуруренция будет продолжать играть нам на руку

Что-то уже воскресенье, а бенчмарков GPT-4.5 не то чтобы много появилось (за вчера ни одного нового не увидел), поэтому напишу пост по тому что есть ¯\_(ツ)_/¯

На первой картинке вы видите результаты LiveBench, первая колонка с цифрой — среднее по всем остальным, по оценкам на отдельных категориях. LiveBench стараются обновлять свежими задачами, чтобы уменьшить риск запоминания моделями ответов — правда обновления нечастые, последнее было 25-го ноября. Потенциально выводы ниже нужно будет пересмотреть после выхода обновления, ноне ясно, когда оно будет. Я не ожидаю, что результаты существенно изменятся.

Зелёным я закрасил все reasoning-модели, а стрелочками обозначил два прироста
1) от GPT-4o до GPT-4.5
2) от Sonnet 3.6 до 3.7

Видно, что хоть 4.5 и уступает множеству моделей, но все они — рассуждающие, а среди нерассуждающих она занимает первое место, в том числе обходя Grok 3 и Gemini 2.0 по трём колонкам из шести. А ведь эти модели тоже являются представителями «нового поколения», обученного на существенно большем количестве данных и ресурсов. Кстати, интересно, что модель xAI на замерах, проводимых не самой компанией, так падает 🙂спишем на случайность. Кто бы проверил, да вот они API не дают, то есть тесты если и проводить, то только по одному, руками и в браузере.

Но мы отвлеклись. Новый Sonnet прыгнул очень сильно, на +6.5%, улучшив все категории, кроме, внезапно, программирования (что скорее показывает силу предыдущей модели, насколько конкретно в этом её прокачали). Причём это — без включения режима рассуждений, с которым модель вообще вырывается на первое место. Но это скорее говорит о том, что добавление навыков к длинным цепочкам рассуждений даже без включения этого самого режима улучшает качество/навыки модели. Это частично подкрепляется тем, что разница между Sonnet 3.5 и 3.6 на предыдущем замере LiveBench ничтожная (программирование там +7%, но при этом среднее по всем задачам выросло всего на +0.53%).

GPT-4.5 почти наверняка не обучали рассуждениям через продвинутые методы, но в то же время скорее всего в датасет для дообучения положили какие-то из генераций, полученных моделью o1 или o3 (цепочки рассуждений, как делали дистилляцию DeepSeek'ом). Но и последнюю chatgpt-4o от января '25-го, от которой идёт стрелочка, почти наверняка тоже обучали на этих цепочках — потому что она сама в 3 категориях существенно обходит свою предшественницу.

Так что прирост между chatgpt-4o и GPT-4.5 хоть и состоит из двух компонент (дистилляция reasoning'а + улучшение базовой модели), мне кажется, что большая его часть объяснена масштабированием. И этот прирост очень солидный, позволяющий быть топ-1 не-reasoning моделью.

А прирост для Claude 3.7 показывает, что если обучить модель рассуждать и не включать режим рассуждений, то она скорее всего и ещё повыше прыгнет, станет лучше. Может быть, когда GPT-4.5 выйдет из preview, мы это увидим. А может и придётся ждать до GPT-5.

Но почему мы везде выше мы закрываем глаза на рассуждающие модели, почему их как будто нет? Потому что, как я сразу писал ещё в лонге про o1, это новая парадигма, которая сразу же приносит огромные приросты. Сравнивать их с обычными годится разве что для того, чтобы показать, что это супер и и вправду новая парадигма, но не подходит, чтобы сравнивать качество базовых чат-моделей (а GPT-4.5 таковой является).

Так, например, в статье DeepSeek R1 можно увидеть, что модель всего на полтора миллиарда параметров по нескольким математическим и coding бенчмаркам обходит... Claude 3.6. А на 32B — по всем, кроме одного. Но следует ли из этого, что Claude — плохая базовая модель? Конечно, нет.

Поэтому увидев такой прирост в чат-модели 4.5 можно представить, какое же большое усиление получит рассуждающая модель поверх неё. И какая будет цена... 🥺

Через 3 часа намечается восьмой тестовый пуск системы Starship. Корабль снова второй версии, и надеемся, что с ним всё будет в порядке — прошлый-то взорвался, не выйдя на орбиту!

В программе:
— посадка огромного ускорителя на башню (снова... уже почти стало рутиной 👍)
— запуск двигателей корабля для демонстрации схода с орбиты (нужно для получения лицензии на орбитальные полёты с долгим пребыванием)
— открытие дверцы грузового отсека с дальнейшим выводом четырёх крупных макетов спутников Starlink. Если всё пойдет по плану, то скоро тестовые запуски превратятся в полноценные миссии, приносящие пользу
— попытка корабля войти в атмосферу без части плиток с дальнейшим приводнением

Если посадка корабля на воду пройдёт удачно и очень точно, уже в следующем тесте мы можем увидеть попытку ловли корабля второй башней. Также, по слухам, рассматривается возможность переиспользования ускорителя в девятом запуске. Только начали ловить, а тут уже переиспользуемость!

Ссылка на официальную трансляцию

UPD: запуск перенесли, пока не ясно на когда (может быть даже завтра, через 24 часа, если нет серьёзных проблем)