🔥 Micro Agent — это инструмент командной строки, который использует возможности искусственного интеллекта для автоматической генерации и исправления кода!

💡 Его основная задача — создавать тесты и писать код, соответствующий этим тестам, обеспечивая разработчикам эффективный и надежный процесс разработки.

🔐 Лицензия: MIT

🖥 Github

@machinelearning_ru

🌟 AMD Instella: открытая языковая модель, обученная на ROCm и оборудовании AMD.

Instella - полностью опенсорсная модель с 3 млрд. параметров, обученная с нуля на GPU AMD Instinct MI300X. Instella не только превосходит существующие LLM сопоставимого размера, но и показывает конкурентоспособную производительность по сравнению с Llama-3.2-3B, Gemma-2-2B и Qwen-2.5-3B.

Разработка Instella основана на опыте AMD с OLMo, на которой была доказана возможность обучения LLM на стеке AMD. В процессе создания Instella прошлые наработки были масштабированы для создания модели с 3 млрд. параметров. Она обучалась на 128 GPU MI300X с использованием 4,15 трлн. токенов. В процессе применялись методы FlashAttention-2, Torch Compile и FSDP с гибридным шардированием.

Процесс обучения Instella состоял из 4-х этапов, постепенно наращивая возможности модели от базового понимания естественного языка до следования инструкциям и соответствия предпочтениям человека.

Первый этап претрейна задействовал 4 трлн. токенов из набора данных OLMoE-mix-0924 (код, академические тексты, математика и общие знания). Второй этап - 57 млрд. токенов из датасетов Dolmino-Mix-1124 и SmolLM-Corpus (python-edu).

На третьем этапе проводилась SFT модели с использованием 8,9 млрд. токенов текстовых пар "инструкция-ответ". Наконец, для приведения модели в соответствие с предпочтениями человека был выполнен четвертый этап - DPO модели Instella-3B-SFT с использованием 0,76 млрд токенов.

Instella получила 36 слоев, каждый из которых имеет 32 attention heads и поддерживает длину последовательности до 4096 токенов.

Финальный вариант Instella-3B превосходит существующие открытые модели в среднем на 8,08%.

▶️ Состав релиза:

🟢Instella-3B-Stage1 - претрейн-чекпоинт после первого этапа обучения;
🟢Instella-3B - чекпоинт после второго этапа;
🟢Instella-3B-SFT - версия модели после SFT;
🟢Instella-3B-Instruct - финальная версия после DPO;
🟠Instella-GSM8K-synthetic - датасет, использованный на 2 этапе обучения;
🟠Код для трейна и инференса


📌 Лицензирование: ReasearchRAIL License.


🟡Статья
🟡Коллекция на HF
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #RoCM #AMD #Instella

✔️ OpenAI презентовала новые инструменты для разработчиков.

OpenAI анонсировала 3 новых инструмента для разработчиков, поддерживаемых в API и доступных через новый SDK. Среди новинок – WebSearch Tool, основанный на дообученной модели GPT-4o/GPT-4o-mini, для поиска информации в интернете. FileSearch Tool - инструмент поиска по документам с возможностью фильтрации по тегам, аналогично функциональности в Ассистентах. Третий - Computer Use (Operator), использующий ту же GPT-4o, предоставляющий доступ к локальному компьютеру пользователя.

Опубликованы и тарифы: Computer Use несколько дороже обычной GPT-4o, а поиск по файлам тарифицируется за запросы ( 2.5 долл. за 1000) и объем загруженных данных
(10 центов за гигабайт)
OpenAI на Youtube

✔️ TypeScript 7.0 будет в 10 раз быстрее.

Microsoft анонсировала радикальное улучшение производительности TypeScript за счет новой нативной реализации компилятора, написанной на Go. Он сократит время сборки проектов, ускорит загрузку редакторов и снизит потребление памяти. Уже сейчас тесты показывают: проверка кода VS Code занимает не 77,8 секунд, а всего 7,5.

Выпуск TypeScript 7.0 запланирован на конец 2025 года, но тестовую версию уже можно опробовать в GitHub-репозитории. Пока команда сохранит поддержку TypeScript 6.x для проектов, зависящих от старых API.

Подробности — в AMA-сессии Discord 13 марта, где авторы ответят на вопросы о будущем экосистемы.
devblogs.microsoft.com

✔️ Agora выпустила набор Conversational AI для IoT-устройств.

Agora, мировой лидер в области решений для взаимодействия в реальном времени, анонсировала запуск ConvoAI Device Kit — инструментария для разработки голосового ИИ в IoT-устройствах. Совместно с производителем чипов Beken и создателем роботов Robopoet Agora предлагает технологию, которая превращает игрушки, гаджеты и «умные» устройства в эмоционально отзывчивых собеседников.

ConvoAI Device Kit объединяет чипы Beken с платформой Agora и обеспечивает распознавание речи с минимальной задержкой, адаптивные диалоги и обработку эмоций.
Решение подходит для образовательных игрушек, «умных» домов и носимых гаджетов.
agora.io

✔️ Supermicro запускает edge-серверы для AI с процессорами Intel Xeon 6.

Supermicro анонсировала линейку компактных серверов, оптимизированных для ИИ. Новые системы оснащены процессорами Intel Xeon 6 с P-ядрами (до 144 вычислительных ядер, увеличенная на 40% пропускная способность памяти и улучшенная энергоэффективность). Новая линейка позволит обрабатывать данные в реальном времени непосредственно на месте их генерации, что критично для телекома, медицины и промышленности.

Серверы поддерживают до 512 ГБ DDR5, имеют порты 100 GbE и слот PCIe 5.0 для GPU, что делает их идеальными для медиа-задач и Edge AI. Отдельного представлены системы с процессорами Intel Core Ultra 15-го поколения — они предназначены для IoT и AI-инференса на edge-периферии (до 24 ядер и NPU).
supermicro.com

✔️ Cerebras развернёт 6 дата-центров в США и Европе.

Cerebras Systems, лидер в области инференса генеративного ИИ, объявила о запуске 6 новых дата-центров. Объекты в США, Канаде и Европе, оснащённые тысячами систем CS-3 на базе Wafer-Scale Engines, обеспечат обработку свыше 40 млн токенов Llama 70B в секунду, что сделает Cerebras крупнейшим поставщиком облачных решений для ИИ.

Проект увеличит совокупную мощность компании в 20 раз, удовлетворив растущий спрос клиентов — от Mistral до гигантов вроде HuggingFace. Особое внимание уделено надёжности: дата-центр в Оклахома-Сити, защищённый от торнадо и сейсмической активности, начнёт работу в июне 2025 года.
cerebras.ai

✔️ GPUStack — менеджер кластеров GPU с открытым исходным кодом для запуска и масштабирования AI моделей.Позволяет организовать эффективное распределение ресурсов для инференса AI моделей, упрощает развертывание масштабируемых решений и обеспечивает гибкую интеграцию с существующими сервисами и приложениями.
Github

@ai_machinelearning_big_data

#news #ai #ml

🔥 Supavec — это проект с открытым исходным кодом, предоставляющий альтернативу Carbon.ai для разработки мощных RAG приложений! Он позволяет интегрировать различные источники данных и масштабировать решения в соответствии с вашими потребностями.

🔐 Лицензия: Apache-2.0

🖥 Github

@machinelearning_ru

📖 В этой статье представлена новая архитектура модели под названием Inner Thinking Transformer (ITT), направленная на улучшение способности языковых моделей к адаптивному внутреннему мышлению без увеличения количества параметров!

💡 Авторы выявили, что сложные токены вызывают резкие всплески градиентов в стандартных трансформерах, что указывает на архитектурные ограничения при обработке таких токенов. В ответ на это ITT динамически распределяет вычислительные ресурсы через адаптивную маршрутизацию токенов, итеративно улучшает представления с помощью остаточных связей мышления и различает этапы рассуждений посредством кодирования шагов мышления. Это позволяет более глубоко обрабатывать критические токены без увеличения параметров модели.​

🌟 Экспериментальные результаты показывают, что ITT достигает 96,5% производительности модели с 466 миллионами параметров, используя всего 162 миллиона параметров, сокращает объем необходимых обучающих данных на 43,2% и превосходит варианты Transformer/Loop в 11 различных тестах. Таким образом, ITT эффективно балансирует между производительностью и эффективностью, оптимизируя внутренние процессы мышления модели.​

🔗 Ссылка: *клик*

@machinelearning_ru

ML-комьюнити о крупнейших запусках LLM начала 2025 года:

✔️ DeepSeek — революция или переоцененный запуск?

Запуск китайской модели всколыхнул всю индустрию, вызвав неоднозначную реакцию экспертов. CEO Anthropic Дарио Амодей отмечает, что Claude 3.5 Sonnet, обученный за несколько десятков миллионов долларов, значительно опережает DeepSeek по многим показателям, плюс у модели нет никаких барьеров против генерации чувствительной информации. Демис Хассабис, генеральный директор Google DeepMind, считает DeepSeek лучшей работой китайских исследователей, но не видит в ней новых научных достижений.

✔️ Grok 3 — Маск не дотянул

ИИ-исследователь и профессор Пенсильванского университета Итан Моллик признал, что xAI очень быстро растёт, но Grok 3 пока точно не является лучшей моделью на рынке. Она превосходит некоторые модели OpenAI, но не o3. CTO Caylent Рэнделл Хант обнаружил ряд проблем с Grok 3: уязвимость к джейлбрейкам, неуместную саркастичность, медлительность и частые ошибки в ответах. По его словам, даже простые логические тесты оказались ей не под силу, что делает модель практически бесполезной для бизнес-задач. При этом CEO Replit Амджад Масад назвал Grok 3 передовой моделью и огромным достижением.

✔️ GPT-4.5 — не оправдал ожиданий экспертов

Релиз GPT-4.5 от OpenAI получил смешанные отзывы в профессиональном сообществе. Соучредитель OpenAI и бывший глава Tesla AI Андрей Карпатый отметил, что GPT-4.5 напомнил ему GPT-4 на момент релиза — он увидел потенциал этой модели. В посте на X он сказал, что при использовании GPT-4.5 «всё стало немного лучше, и это здорово, но не совсем так, как можно было бы ожидать». В более резких выражениях высказался известный критик Гэри Маркус, назвавший модель «пустышкой». Генеральный директор Hugging Face Клемент Деланж также остался недоволен, охарактеризовав GPT-4.5 как «так себе» и раскритиковав закрытость исходного кода.

✔️ YandexGPT 5 — что в России?

Виктор Тарнавский, директор по ИИ Т-Банка, отметил, что в Яндексе выложили Lite-версию модели в опенсорс, а пайплайн Pro-версии инициализировали весами от Qwen 2.5. По его мнению, это правильное решение, позволяющее избежать бессмысленной траты ресурсов. При этом, пишет Тарнавский, разработчики делают не файнтюн, а полный цикл обучения модели — просто стартуют претрейн не с нулевых весов. По опубликованным бенчмаркам, модели показывают хорошие результаты. В СМИ также писали, что Яндекс работает над ризонингом. Максим Болотских, директор ИИ в Яков и Партнёры (ex-McKinsey), прокомментировал, что ежегодные совокупные затраты на разработку подобного функционала могут составлять 10 млрд рублей и более, и такого рода модели могут монетизироваться не только классическими подписками B2C пользователей, но и значимо лучше решать задачи В2В-сегмента.

✔️ Gemini 2.0 Flash — лучшее соотношение цена/качество

Релиз Gemini 2.0 Flash от Google получил восторженные отклики экспертов. Тим Брукс, ИИ-исследователь в Google DeepMind, высоко оценил встроенную функцию генерации изображений с возможностью визуальной цепочки рассуждений. Соучредитель и бывший глава Intel AI Райан Карсон назвал модель "умной, быстрой и дешёвой", отметив отличную производительность при тестировании через API. Мэтт Шумер, соучредитель и генеральный директор компании OthersideAI, подчеркнул, что по большинству бенчмарков Gemini 2.0 Flash приближается к Claude 3.5 Sonnet и даже превосходит его в бенчмарке MATH, сохраняя при этом значительное ценовое преимущество.

✔️ Claude 3.7 — достойный шаг вперёд при умеренных затратах

Релиз Claude 3.7 от Anthropic получил преимущественно положительные отзывы экспертов. Сэм Альтман и Дарио Амодей подчеркнули экономическую эффективность разработки — обучение Claude 3.7 Sonnet обошлось лишь в несколько десятков миллионов долларов, что значительно меньше затрат на GPT-4. Артём Санакоев, ИИ-исследователь в Meta Generative AI и автор канала "эйай ньюз", выделил инновационный подход Anthropic к рассуждениям модели — в отличие от конкурентов, Claude использует единую модель без отдельного reasoning тюна.

@ai_machinelearning_big_data

#AI #ML #LLM

✔️ PORTAL: ИИ-агенты, которые способны играть в тысячи игр.

Tencent опубликовала техотчет проекта PORTAL, платформы для создания ИИ-агентов, способных играть в тысячи 3D видеоигр благодаря генерации политик, управляемой языком разработки поведенческих стратегий.

PORTAL трансформирует задачи принятия решений в задачи языкового моделирования, используя LLM для генерации деревьев поведения, представленных на специализированном языке DSL. Разработка устраняет вычислительные затраты на RL, сохраняя при этом стратегическую глубину и быструю адаптивность.

Политики, созданные в PORTAL могут мгновенно развертываться, понятны человеку и способны обобщаться в различных игровых средах. Эксперименты показали эффективность PORTAL в тысячах шутеров от первого лица, показывая значительные улучшения в эффективности разработки, обобщении политик и разнообразии поведения по сравнению с традиционными подходами.
zhongwen.one

✔️ Deepseek ужесточает контроль за поездками сотрудников.

По данным инсайдеров, Deepseek ввела ограничения на зарубежные поездки для сотрудников, занятых разработкой ИИ-моделей, фактически потребовав сдать паспорта. Неясно, исходят ли эти ограничения от руководства компании или от китайских властей, но очевидно, что они направлены на предотвращение утечки данных и нежелательных контактов. Эта мера резко контрастирует с публичным образом Deepseek как сторонника открытого исходного кода и компании, пропагандирующей свободный доступ к технологиям.

В начале марта The Wall Street Journal сообщила, что китайские власти предупредили ведущих ИИ-предпринимателей и исследователей о нежелательности поездок в США, ссылаясь на опасения в области национальной безопасности и экономики. Официальные лица опасаются, что эксперты могут передать конфиденциальную информацию за границу, американские компании могут приобрести ценные технологии, или власти могут задержать руководителей в качестве инструмента дипломатического давления.
theinformation.com

✔️ Command A: релиз новой модели от Cohere.

Cohere представила Command A, новую модель в семействе высокопроизводительных и масштабируемых LLM. Как утверждается, Command A не уступает и даже превосходит GPT-4o и DeepSeek-V3 в решении задач, ориентированных на корпоративное использование, при этом демонстрируя значительно более высокую эффективность.

Стоимость API для коммерческого использования Command A составляет 2.50 доллара за 1 млн. input- и 10 долларов за 1 млн. output-токенов. Попробовать бесплатно модель можно в веб-доступе или развернуть локально для академических целей.
cohere.com

✔️ Nvidia и Microsoft объединяют усилия в технологии DirectX.

Nvidia совместно с Microsoft анонсировала нейронное затенение в предварительной версии DirectX, которая станет доступна в апреле этого года. Технология позволит разработчикам использовать тензор-ядра Nvidia для ускорения рендеринга графики в играх, поддерживающих данную технологию.

Нейронное затенение - часть концепции нейронного рендеринга, для улучшения отображения материалов, освещения, теней и текстур за счет интеграции ИИ в процесс шейдинга.

Ключевым фактором является использование кооперативных векторов, которые позволяют небольшим нейронным сетям работать на различных стадиях шейдера, не монополизируя ресурсы GPU. Хотя на начальном этапе предварительная версия DirectX с поддержкой кооперативных векторов будет эксклюзивной для Nvidia, Microsoft планирует обеспечить кросс-вендорную поддержку в будущем, работая с AMD, Intel и Qualcomm.
tomshardware.com

✔️ Nous Research открыла API к своим языковым моделям.

Nous Research запустила Inference API, который обеспечит разработчикам программный доступ к 2 моделям: Hermes 3 Llama 70B на архитектуре Meta Llama 3.1 и DeepHermes-3 8B Preview, ризонинг-модель с возможностью переключения между стандартными ответами и развернутыми цепочками рассуждений.

Запросить доступ можно через систему предварительной регистрации на портале, а опенсорсные превью-варианты моделей DeepHermes-3 (24B и 3B) можно найти на HuggingFace.
NousResearch в Х (Twitter)

@ai_machinelearning_big_data

#news #ai #ml