Advancing AI 2025 — выжимка из презентации AMD

Хоть Nvidia и лидер на рынке GPU, но они там не одни. Выбрал для вас самое сочное:

➖ MI350x и MI355x (тот же кристалл, выше TDP) будут доступны в третьем квартале — 288 ГБ HBM3e, поддержка FP4/FP6, 8TB/s пропускной способности, до 20 петафлопс в FP4, держат больше полутриллиона параметров на одной карте.

➖ Такие характеристики позволяют нехило сэкономить — AMD обещают прирост в токенах в секунду до 40% за те же деньги, по сравнению с Nvidia Blackwell.

➖ MI400x — 40 петафлопс в fp4, 432 гигабайта HBM4 на скорости 19.6TB/s, релиз в 2026. MI450 уже проектируют вместе с OpenAI — об этом лично сказал Сэм Альтман на сцене.

➖ Helios AI-Rack — прямой конкурент NVL144 Vera Rubin от Nvidia. 72 MI400x дают 2.9 экзафлопса в FP4, 1.4PB/s пропускной способности и 31TB VRAM, при этом давая такой же уровень интерконнекта внутри. Выйдет тоже в 2026.

➖ Helios и вся линейка строятся на открытом интерконнекте, вместо проприетарного NVLink.

➖ AMD Developer Cloud — официальное облако от AMD, специально для разработчиков, для регистрации нужен всего лишь GitHub аккаунт. Предлагают MI300x за $2 в час, что заметно дешевле других провайдеров.

Видюхи AMD выглядят очень вкусно для инференса — при схожей производительности по компьюту, они дают больше VRAM и пропускной способности, что означает заметно больший батчсайз и более дешёвые токены. А за последний год уровень поддержки видюх AMD стандартным софтом для инференса, вроде SGLang, вырос на голову. Но тренировать на них пока что всё ещё рано — всё ещё слишком нестабильно. Хотя прогресс за последнее время всё равно впечатляет.

Полная презентация

@ai_newz

Вайбы на CVPR.

Есть и такие классные докладчики.

@ai_newz

Мой интерн Юнгмин презентует нашу статью: Autoregressive Distillation of Diffusion Transformers перед залом в тысячу человек.

Молодец, отлично справился!

#конфа
@ai_newz

Нейродайджест за неделю (#73)
Я на CVPR 2025, поэтому с задержкой)

CVPR 2025
- Кружочек анонс — это же крупнейшая конференция по моему любимому computer vision.
- Да кто такой этот ваш CVPR — небольшой ликбез по конфе и почему это важно.
- Автор FlashAttention на CVPR — легенда рассказывает про эффективные алтернативы аттеншену. Прямое включение!
- Вайбы с Oral докладов
- Мой интерн на сцене, презентует нашу статью! — красавчик, иначе и не скажешь.

LLM
- Magistral — первый ризонер от Mistral и крайне неудачный (есть надежда, что ещё будет дотрейнён с SFT).
- Релиз o3 pro — по традиции в pro-подписке. При этом по API в несколько раз дешевле o1 pro.
- AI в Avito — челы не поленились и сделали свою ЛЛМ, причём ещё и шуструю на русском.
- o3 в два раза больше — увеличили лимиты, так что теперь можно совсем забыть о лимитах.

Прочее
- Apple WWDC — презентация Apple для разработчиков. Теперь можно юзать Apple Intelligence в своих апках.
- Дайджест презы AMD — «ответка» Nvidia, со статусом «топ за свои деньги» и большой упор в оптимизацию инференса.

> Читать дайджест #72

#дайджест
@ai_newz

После CVPR в Нэшвилле полетел в Сан-Франциско на другую сходку – YC AI Startup School.

Сижу слушаю байки старичка Сэмы.

@ai_newz

Сегодняшний день начинаем в YC с баек от Сатьи Наделлы, CEO Microsoft.

@ai_newz