Turbo ML Conf

Я часто пишу про конференции типа CVPR и ECCV и о том, почему это важно. Но не у всех есть возможность кататься по таким крупным ивентам. Круто, что в Москве тоже проходят подобные локальные ивенты (хоть и масштабом поменьше). Вот, например, скоро будет проходить Turbo ML Conf.

Обещают 5 потоков по всем основным направлениям в AI: NLP, Research & RnD, CV & Speech, RecSys, LLM Applications & Copilots.

Как я упоминал, на конференциях главное — нетворкинг, но бывает тяжело просто взять и заговорить с кем-то, так что организаторы замутили кучу интерактива и даже настолки, лол. Будет гораздо проще завести с кем-то диалог.

Дата — 19 июля.
Регистрация тут, бесплатно, но места ограничены, причём трансляции в этом году не будет.

@ai_newz

Восхождение Oracle

Тут SemiAnalysis написали прекрасный отчёт о том, как поднялся этот компьют-гигант. Казалось бы, Oracle вошёл в игру гораздо позже AWS, Azure и Google, но сейчас по многим метрикам вырывается в лидеры.

Фишка в том, что они не пытались догонять, а сыграли по-своему, сделав несколько дичайших ставок, которые окупились.

Ставка №1: Сделка с Crusoe для OpenAI

Oracle заключила 15-летнюю сделку с относительно неопытным на тот момент девелопером Crusoe на строительство гигаваттного дата-центра. Стоимость обязательств Oracle по этой сделке, по оценкам, превышает $1 млрд в год. Весь этот компьют предназначался для их ключевого клиента — OpenAI.

Риск был колоссальным. В то время годовая выручка OpenAI составляла ~$2 млрд, причём подразделение работало в убыток. Oracle брала на себя обязательства по сделке, которая по масштабу была сопоставима со всей выручкой своего клиента. Но эта ставка позволила им запереть на себе самого важного игрока на рынке ИИ.

Ставка №2: ByteDance

И это не единичный случай. Oracle также заключила многомиллиардную сделку с ByteDance (материнская компания TikTok) на предоставление AI-вычислений для их операций за пределами Китая и США. Это ещё один гигантский клиент с колоссальными потребностями в обучении моделей, которого Oracle смогла увести у конкурентов, в первую очередь у AWS.

Но кроме успешного выбора клиентов, успех Oracle стоит на трёх китах: архитектура, прямые закупки и, самое главное, дешёвые деньги.

Архитектура их главный козырь. Oracle строит свои AI-кластеры на протоколе RoCE v2 (RDMA поверх Ethernet). Такая сеть на 400 Гбит/с обеспечивает GPU задержку и масштабируемость, сопоставимые с InfiniBand, но позволяет снизить цену кластеров на 15–20%, потому что они собираются на обычных стоечных и магистральных коммутаторах и использует стандартные кабели. Экономия на сети снижает общую стоимость владения инфраструктурой, поэтому OCI может удерживать цену GPU-часа ниже, чем большинство неоклаудов, и успешно конкурировать с крупными гиперскейлерами.

Второе преимущество перед конкурентами заключается в прямых закупках — Oracle закупает железо напрямую у ODM-производителей вроде Foxconn, минуя наценку брендов-посредников типа Dell и Supermicro. Меньше посредников — ниже цена. Справедливости ради, так делают все гиганты, включая Azure и AWS. Но для Oracle это лишь один из винтиков в машине по тотальной экономии.

Cost of Capital. Закупка GPU, для Oracle обходится фундаментально дешевле. Их основной бизнес по базам данных — это гигантская машина по производству наличных, которая даёт им доступ к самым дешёвым кредитам на рынке. Это заметное преимущество перед неоклаудами, которым такие кредиты не дают. В целом и Amazon может брать такие кредиты, но они проигрывают по остальным параметрам.

Линк

@ai_newz

Над Cursor сгущаются тучи

Тут вокруг самой популярной тулы для вайбкодинга возник небольшой скандал. Шестнадцатого июня команда анонсировала новые условия для Pro ($20) плана: безлимит на использование агента, но с рейтлимитами . Существующим подписчикам при этом дали возможность перейти обратно на старые условиях — 500 запросов к премиум моделям в месяц. Условия казались хорошими, поэтому мало кто переключился назад.

Тридцатого июня блогпост с анонсом втихую обновили, после чего оказалось что всё было слишком хорошо чтобы быть правдой. "Безлимит" хоть и существует, но касается лишь авто‑выбора моделей (что автоматом исключает все ризонеры), а ручной выбор конкретных моделей ограничен двадцатью долларами по API прайсингу, за всё что выше нужно платить. По факту лимиты сильно порезали, особенно для ризонер моделей.

Подлил масла в огонь тот факт, что Cursor не показывает цену запроса прямо в IDE, а прайслист с ценами на модели отсутствует. Вчера компания опубликовала блогпост, где извинилась и пообещала рефанднуть излишние траты за последние три недели ([email protected]). Но тем не менее доверие подорвано и комьюнити — половина /r/cursor сейчас посвящена переходу на Claude Code и другие альтернативы.

В целом причины изменения прайсинга понятны — с приходом ризонеров цена на два разных запроса к одной модели может спокойно отличаться на порядок. А прайсинг подписки у Cursor делался под прошлое поколение моделей, поэтому пришлось адаптироваться под современные реалии. Но коммуникация при переходе была из рук вон отвратительной.

А тем временем, компания активно ищет новые способы монетизации юзербазы и всё больше переходит на per-usage pricing. Помимо Max режима, который ввели несколько месяцев назад, по плате за токены теперь всё чаще работают новые фичи (те же background agents). Но при этом Anysphere же не забыли сделать свою подписку за $200, куда же без неё. Недавний раунд финансирования даёт свои плоды.

Пивот в бизнес модели происходит при этом в самый неудачный момент — Anthropic, OpenAI и Google в последние несколько месяцев зашли на рынок кодинг агентов. Вертикальная интеграция даёт им возможность давать условия получше врапперов. Anysphere пытается удержаться на плаву: ведут агрессивный найм и на днях переманили двух лидов Claude Code. Собирают и довольно сильную команду для тренировки моделей. Поможет ли это всё стартапу выжить — покажет только время.

@ai_newz

Вышел доклад от François Chollet, который я слушал ещё 3 недели назад в Сан-Франциско на YC AI Startup School.

Это, кстати, был один из 3 самых интересных докладов (другие два - это Карпатый и Chelsea Finn).

В докладе Шолле показывает, что до AGI нам еще далековато, что существующие бенчи слишком простые, и показывает свой новый бенч ARC-AGI-2. На новом бенче средний человек набирает 60%, а команда из нескольких — 100%. В то время как o3-high выбивает только 6.5%, а Claude Opus 4 (Thinking 16K) - 8.6%. Показывая, что пропасть между лучшими LLM и человеком тут огромная.

Старый ARC-AGI-1 продержался пять лет, потому что он был вызовом для обычных LLM, которые хороши в запоминании, но пасуют когда дело доходит до настоящего мышления. Ризонеры наконец-то смогли его решать (но все равно не полностью), поэтому сделали ARC-AGI-2, который опять же бьёт в самую слабую точку современных LLM — их способность к подвижному интеллекту (fluid intelligence). Он проверяет умение работать с символами, многошаговыми правилами и контекстом, где тупой перебор не работает. Шолле ожидает, что этот бенч не продержится так долго, потому что именно в ризонинге будет происходить самый быстрый прогресс в ближайшие годы.

Но ARC-2 — это не предел. Шолле уже затизерил ARC-AGI-3, который должен выйти в 2026 году. Он будет ещё жёстче — бенчмарк будет построен в виде интерактивных игр, требующих от ИИ ставить цели и по-настоящему адаптироваться, а не подбирать решение грубой силой. Фокус этого бенча — эффективность обучения, сравнимую с человеческой. Системы должны будут не просто решить задачу, а сделать это быстро и с небольшим количеством примеров. ARC-3 целится в то, чтобы продержаться больше трёх лет.

В конце он объявил о создании своей новой лабы — NDEA. Их цель — строить тот самый ИИ, который нужен для настоящих прорывов: самообучающийся движок для синтеза программ, способный не на автоматизацию, а на изобретения. По сути, они хотят создать систему, которая сможет ускорять научный прогресс, а бенчмарки ARC будут для них главным мерилом успеха.

https://www.youtube.com/watch?v=5QcCeSsNRks

@ai_newz

Там чет мунвели тизерят свою видео-генерацию для киноиндустрии, натренированную на "чистых данных". Ну, ну. Посмотрим.

Пока модель потыкать нельзя.

@ai_newz

SmolLM 3 — полностью открытая 3B модель от Huggingface

Это самая сильная 3B модель — она опережает Llama-3-3B и Qwen 2.5-3B, но отстаёт от более крупных 4B Qwen 3 и Gemma 3. Модель — гибридный ризонер, как новые Claude или Qwen 3.

Самое ценное в релизе — блогпост с деталями тренировки и опубликованные конфиги, так что воспроизвести модель будет крайне просто. Модель тренировали 24 дня на 384 GPU H100 (220к часов) по трёхстадийной схеме: сначала Web + Code + Math, затем постепенно повышали долю кода и математики. После основного претрейна добавили mid-training для расширения контекста, затем mid-training на ризонинг. К сожалению, ризонингу модель учили исключительно на готовых ризонинг трейсах, RL тут совсем не использовался.

Посттрейнили с SFT на 1,8B токенов: 1B без reasoning-трейсов и 0,8B с /think, данные взяли из 22 открытых датасетов. Тренировали 4 эпохи (~8B токенов) с BFD-packing и маскировали лосс на пользовательских репликах, чтобы не штрафовать system-промпты и tool-calls. Затем модель тюнили с Anchored Preference Optimization: реальные пары из Tulu 3 дополнили синтетическими chosen vs rejected ответами Qwen3-32B/0.6B, покрыв оба режима /think и /no_think. После этого несколько чекпоинтов полученных при тюне с APO смешали в одну, а уже её смерджили с мидтрейн-чекпоинтом — так сохранили 128k контекст, без просадки на математике и коде.

Иметь такие открытые рецепты в общем доступе крайне важно — они служат бейзлайном, поверх которого можно последовательно улучшать любой этап пайплайна. Без таких рецептов, делать ресёрч по претрейну гораздо сложнее.

Блогпост
Веса
Конфиги для тренировки с помощью nanotron

@ai_newz