Optimizing Large Language Model Training Using FP4 Quantization
Ruizhe Wang, Yeyun Gong, Xiao Liu, Guoshuai Zhao, Ziyue Yang, Baining Guo, Zhengjun Zha, Peng Cheng
Статья: https://arxiv.org/abs/2501.17116

Формат мини.

Только обсудили обучение DeepSeek в FP8 (https://www.tg-me.com/gonzo_ML/3294) и упомянули старую работу про FP8-LM (https://arxiv.org/abs/2310.18313) от Microsoft, как та же команда анонсировала обучение в FP4!

С помощью ухищрений в виде differentiable quantization estimator для точного обновления весов и outlier clamping and compensation strategy для предотвращения коллапса активаций достигли качества аналогичного обучению в BF16 и FP8 и обучили 13B модель на 100B токенов.

FP16 использует формат E5M10 (5 бит на экспоненту, 10 на мантиссу), BF16 — E8M7, FP8 обычно есть в двух вариантах с E4M3 (был у DeepSeek-V3) и E5M2, а здесь FP4 сделали в формате E2M1. Ещё один бит — знак, если что.

Нвидиа теперь репортит флопсы в FP4 (https://www.tg-me.com/gonzo_ML/3182), эта разрядность поддерживается новыми GPU, так что можно ожидать ещё одного удвоения производительности/размера моделей относительно DeepSeek, или учетверения относительно более традиционных моделей типа Llama.

Так и до FP1 INT1 дойдём!

Очень круто.

В работе начал активно пользоваться NotebookLM от Google.

Загрузил в workspace документы, связанные со стандартом RISC-V и некоторыми драфтами расширений, над которыми я сейчас работаю.
Вместо Ctrl + F и поиска по PDF быстро нахожу нужные куски информации не по ключевым словам, а по контексту, что значительно ускоряет работу с документацией и спецификациями.
И что наиболее важно к каждому ответу приводятся ссылки на куски документации, на основе которых сформирован ответ, так что если нет доверия к сгенерированному ответу можно сразу же обратиться к исходнику документа.

Вроде где-то даже видел функцию генерации подкаста на основе загруженных документов, так что загружайте IA-32 Software Developer’s Manuals на 5к страниц и наслаждайтесь 🫠

Остаётся вопрос загрузки чувствительных внутренних документов компании, но для работы с открытыми стандартами или со спецификациями от ARM или IEEE данный сервис подходит отлично.

RISC-V Day Tokyo 2025 Spring English

27 февраля в Токио прошла конференция, посвященная экосистеме RISC-V. Среди участников конференции такие компании, как SiFive, Tenstorrent, MIPS и многие другие.

На странице конференции можно ознакомиться с материалами докладов, прошедшего мероприятия.

Мое внимание привлек доклад компании Tenstorrent.
Tenstorrent представила roadmap высокопроизводительных процессоров и поделилась планами на 2027 год. В презентации раскрыты детали Out-of-Order (OoO) ядра Callandor: 16-wide декодер и Reorder Buffer на 1000 (!!!) инструкций.

Ключевые характеристики:

• 35 SPEC2K6INT/GHz
• 3.5 SPEC2K17INT/GHz
• 6 wide LD/ST with large load/store queues
• 8 ALU/4 BR
• 4 256-bit vector units
• 4 FPU units
• Matrix engine

Больше деталей смотрите в презентации Tenstorrent — найти её можно по ссылке в начале поста и в комментариях. Однако не стоит забывать: это пока лишь первичная информация, представленная на слайдах. Окончательные показатели можно и нужно будет оценивать только при тестировании реального железа. Тем не менее, планы и амбиции компании впечатляют.

p.s. А на фото поста — обложка книги на японском языке по работе с языком конструирования аппаратуры Chisel.

Intel® Advanced Vector Extensions 10.2

В июле 2024 года Intel представила новую версию AVX10, в которой добавлены новые инструкции и поддержка FP8. Одним из интересных нововведений стала поддержка операций нахождения максимума и минимума среди операндов с плавающей запятой в векторном расширении, реализованная с учетом логики NaN propagation согласно спецификации IEEE-754 2019 года. В соответствии с этой логикой NaN возвращается только в случае, если оба операнда являются NaN. Теперь инструкции нахождения максимума и минимума поддерживают оба режима NaN propagation — в соответствии с IEEE-754 2019 и IEEE-754 2008, что позволяет разработчикам явно задавать логику NaN propagation.

Подобная реализация дает возможность программному обеспечения, ориентированному на работу с IEEE-754 2008, сохранить прежнюю логику обработки NaN, а для новых алгоритмов использовать более строгую семантику IEEE-754 2019.

Занимательно, что в сентябре 2023 года аналогичные инструкции были добавлены в архитектуру RISC-V в рамках расширения "Zfa" (Standard Extension for Additional Floating-Point Instructions).

Основное отличие заключается в том, что в RISC-V управление NaN propagation для инструкций поиска максимума и минимума реализовано только для скалярных инструкций, тогда как в Intel AVX10 это реализовано для векторных операций.

Кроме того, в последней версии спецификации RISC-V указано, что в экосистеме RISC-V для операций поиска максимума и минимума по умолчанию используется последняя версия стандарта IEEE-754 — на данный момент это версия 2019 года. В то же время в расширении Zfa были добавлены отдельные инструкции, специально реализующие поведение NaN propagation в соответствии со стандартом IEEE-754 2008 года.

Несмотря на то, что Intel и RISC-V представляют собой принципиально разные подходы как с точки зрения компьютерной архитектуры, так и с точки зрения уровня проприетарности (открытая архитектура RISC-V против закрытой Intel), обе экосистемы демонстрируют стремление к сохранению совместимости с существующим программным обеспечением. Это подчёркивает важность обратной совместимости и гибкости в выборе логики обработки NaN для поддержки старых алгоритмов и упрощения перехода на новые стандарты.

A64 SIMD Instruction List: SVE Instructions

Нашел интересный ресурс. На сайте представлены инструкции из SVE расширения для ARM.
Удобно, что есть поддержка пресетов, чтобы посмотреть наборы инструкций для популярных чипов, например такие как A64FX и М4. Для каждой инструкции также представлена наглядная диаграмма, которая помогает лучше понять, как работает векторная операция в SVE сабсете.

Данный ресурс не является официальным справочным материалом и может содержать ошибки.

Аналогичный ресурс для x86/x64 SIMD Instruction List (SSE to AVX512) : https://www.officedaytime.com/simd512e/

AraXL: A Physically Scalable, Ultra-Wide RISC-V Vector Processor Design for Fast and Efficient Computation on Long Vectors

Замечательная статья от исследователей из ETH Zurich посвящена проектированию векторных сопроцессоров с широкими векторами.

Особый интерес вызывает предложенный метод разбиения большого числа векторных линий на кластеры по 4 линии в каждом, что эффективно снижает нагрузку на межсоединения, необходимые для реализации cross-lane операций и маскирования. Авторы отдельно подчёркивают сложности масштабирования, возникающие при использовании традиционных «all-to-all» соединений между линиями, и предлагают решение этой проблемы через иерархическую структуру межсоединений. В частности, значительная часть cross-lane взаимодействий локализуется внутри кластеров, что уменьшает плотность и сложность межкластерных соединений. Дополнительно авторы вводят кольцевой интерфейс (RING Interconnect, RINGI), который упрощает передачу данных между кластерами и снижает аппаратную сложность при реализации широких векторных операций.

Также следует отметить представленный авторами floorplan, в котором между кластерами намеренно оставлены промежутки как по вертикали, так и по горизонтали. Это позволяет эффективно распределить межкластерные соединения, значительно снизить плотность межсоединений (congestion) и облегчить физическую реализацию, что особенно критично при разработке широких VPU с большим количеством векторных линий.

Сегодня принес вам интересное руководство по оптимизации работы с software - RISC-V Optimization Guide.

RISC-V Optimization Guide — это руководство, созданное проектом RISE Project для предоставления разработчикам программного обеспечения конкретных рекомендаций по оптимизации кода для процессоров на архитектуре RISC-V. ​

Содержимое гайда:
1) Общие рекомендации: использование регистров, работа с памятью и кешами.

2) Особенности расширений RISC-V: RVV (векторные инструкции), RVF, RVD и другие расширения.

3) Советы по LMUL: как выбирать LMUL в зависимости от типа ядра (In-Order vs Out-of-Order).

4) Переносимость: советы по созданию переносимого и масштабируемого кода.

Гайд будет особенно полезен в контексте последней темы, поднятой Krste Asanovic, о ключевой идее LMUL в векторной спецификации RISC-V. Основная мысль Krste заключается в необходимости аппаратной поддержки механизма определения оптимального LMUL в зависимости от фактической длины вектора (vl).

The intention in the RVV ISA design was that execution occupancy would be proportional to active vl as required by the application, not VLMAX set by LMUL.
So, even if LMUL was large, but vl was small, the occupancy of the vector instruction should be low. In other words,
larger LMUL should not cause worse performance with the same vl.
Это

позволит избежать ситуации, когда векторные инструкции выполняются над несуществующими (неиспользуемыми) элементами, повышая общую эффективность и производительность.

Однако, поскольку на сегодняшний день не все компании реализуют эту аппаратную логику в своих чипах, программистам приходится учитывать особенности конкретного аппаратного обеспечения. Это усложняет процесс разработки ПО и делает код менее портируемым и аппаратно-независимым.

Например, в руководстве (RISE Optimization Guide) явно указано следующее:

If all operations involved are linear in LMUL, choose EMUL to balance register pressure and frontend bandwidth. Depending on the processor implementation, this is going to mean either very high LMUL or very low LMUL, but not both. For example, on Out-of-Order machines, it’s generally better to have very low LMUL, resulting in lower register pressure at the expense of more instructions being issued. While on In-Order machines, it’s generally better to have very high LMUL, favoring lower instruction count at the expense of higher register pressure.

В данный момент в сообществе существует условно два подхода к использованию LMUL:

Авторы спецификации RVV (например, Krste Asanovic) ориентированы на долгосрочную перспективу, в которой наибольшая эффективность достигается за счёт модели исполнения инструкций, зависящей от реальной длины вектора (vl-dependent). Такой подход позволяет эффективно использовать высокий LMUL там, где это оправдано.
Однако наиболее просто и естественно эта модель реализуется в широких in-order VPU с большой длиной вектора (большим VLEN), в то время как для коротких OoO-векторных ядер с небольшим VLEN (128–512 бит) реализация такой логики существенно более сложна и менее практична.

Практические реализации и существующие рекомендации (например, RISE Optimization Guide) делают акцент на текущих технических ограничениях и сложности реализации LMUL в высокопроизводительных процессорах с внеочередным выполнением инструкций (Out-of-Order). В таких реализациях предпочтительным считается использование низкого LMUL (LMUL=1).

Таким образом, сейчас между долгосрочной стратегией стандарта и практическими реализациями имеется явное расхождение. Можно ожидать постепенного сближения этих подходов, если высокопроизводительные OoO-ядра смогут преодолеть аппаратные сложности реализации и приблизиться к модели, заложенной в стандарт RVV.

Как и обещал, принес вам классное чтиво — Ph.D. диссертацию Krste Asanović по теме векторных процессоров.
Несмотря на то, что работа была написана в далёком 1987 году, считаю важным с ней ознакомиться.
Автор — один из основателей SiFive, соавтор векторной спецификации RISC-V и участник команды, внесшей вклад в культовую книгу Computer Architecture: A Quantitative Approach.
Отличная возможность увидеть, с чего начинался путь Krste в цифровом дизайне и архитектуре компьютеров.

Vector Microprocessors by Krste Asanović

Вышли из тени еще одни желающие сделать чип-дизайн открытым.

Калифорнийский стартап ZeroASIC представил открытую архитектуру FPGA, которую они хотят сделать плисовым аналогом RISC-V. Дизайн самого чипа проприетарный (GF 12 нм), но архитектура описана, а весь маршрут синтеза RTL, генерации и записи битстрима опенсорсный. На гитхабе много интересного.

Предполагается, что найдутся желающие поддержать начинание и организовать концорциум по образцу RISC-V Foundation. Звучит чрезмерно амбициозно, но саму идею демократизации чип-дизайна я могу только поддержать.