Telegram Web Link
Forwarded from Machinelearning
🌟 MiMo-7B: Набор компактных ризонинг-моделей от Xiaomi.

Xiaomi выпустила в опенсорсный релиз MiMo-7B — набор языковых моделей, созданных для решения сложных задач, от математики до генерации кода.

Несмотря на скромные 7 млрд. параметров, модель демонстрирует результаты, превосходящие 32B-конкурентов, разрушая стереотипы о зависимости качества от размера.

Создание MiMo началось с предтрейна на 25 трлн. токенов, где акцент был на повышении плотности логических паттернов.

Для этого разработчики пересмотрели обработку данных: улучшили извлечение математических формул и блоков кода из веб-страниц, добавили синтетические данные, сгенерированные топовыми ризонинг-моделями, и все это обработали уникальной стратегией смешивания.

На первых этапах доля STEM-контента достигала 70%, а на финальном — добавили синтетику и расширили контекст до 32K токенов.

Обучение с подкреплением на стадии посттренинга проводили на массиве из 130 тыс. задач, где каждая проверялась автоматически. Чтобы избежать reward hacking, использовали только rule-based награды.

Для сложных задач по программированию ввели систему частичных баллов (как на олимпиадах по информатике) - даже если решение не идеально, модель получает feedback за пройденные тесты. А чтобы RL не застревал на простых примерах, добавили ресэмплинг: 10% данных брали из пула уже решенных задач, балансируя эффективность и стабильность обучения.

Результаты бенчмарков: на LiveCodeBench v6 MiMo-7B-RL набрала 49.3%, обойдя QwQ-32B на 10 пунктов, а на AIME 2025 — 55.4%, оставив позади OpenAI o1-mini. При этом базовая версия модели уже показывала 75.2% на BBH, что выше аналогов своего класса.

▶️ Состав набора:

🟠MiMo-7B-Base - базовая модель с потенциалом рассуждений;

🟠MiMo-7B-RL-Zero - RL-модель, обученная на основе базовой;

🟠MiMo-7B-SFT - модель SFT, обученная на основе MiMo-7B-Base;

🟢MiMo-7B-RL - RL-модель, обученная на основе SFT-модели, та, которая в бенчмарках обошла OpenAI o1-mini.


⚠️ Разработчики рекомендуют использовать для локального инференса их форк vLLM , он поддерживает MTP (Multiple-Token Prediction), но и на HF Transformers инференс тоже работает.


📌Лицензирование: MIT License.


🟡Набор моделей
🟡Техотчет
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #RL #Xiaomi #MiMo
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🌟 Google представила Global Health Benchmark (GHB) — новый комплексный тест для оценки больших языковых моделей (LLMs) в контексте глобального здравоохранения.

Основная цель: оценить, насколько эффективно LLM могут поддерживать задачи в области глобального здравоохранения, включая диагностику, лечение, коммуникацию с пациентами и принятие решений в условиях ограниченных ресурсов.

https://research.google/blog/benchmarking-llms-for-global-health/
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
✔️ Ideogram 3.0: больше реализма и новые инструменты для разработчиков.

Ideogram представил масштабное обновление своей нейросети для генерации изображений. Версия 3.0 создаёт более фотореалистичные картинки, точнее понимает запросы и предлагает вдвое больше стилей. Теперь можно загрузить до 3-х референсов, чтобы задать стиль генерации, или выбрать готовый из библиотеки.

Новые инструменты: Magic Fill и Extend. Первый позволяет менять или добавлять элементы в готовом изображении, а второй — расширять его за рамки исходного кадра. Для разработчиков открыли API с текстовой генерацией, редактированием, заменой фона и другими функциями. Интегрировать Ideogram 3.0 можно через партнерские платформы: Picsart, Freepik, Replicate и другие.
Ideogram в X (ex-Twitter)

✔️ Midjourney анонсировала функцию Omni-Reference.

Midjourney тестирует новую функцию, Omni-Reference, которая позволяет тонко настраивать визуальные элементы в создаваемых изображениях. В отличие от старого Character Reference (v6), система теперь поддерживает не только персонажей, но и отдельные объекты — например, можно указать: «Добавь именно этот меч в сцену».

Omni-Reference доступен в веб-интерфейсе сервиса (перетаскивание изображения в зону «omni-reference») или в Discord через параметр --oref с URL. Силу влияния reference регулирует параметр --ow (0–1000): низкие значения подходят для стилизации, а высокие — для сохранения деталей вроде лица или одежды.
Midjourney в Discord

✔️ Apple и Anthropic планируют добавить вайб-кодинг в Xcode.

Apple совместно с Anthropic готовит обновление Xcode с интеграцией Claude Sonnet. По данным Bloomberg, внутренняя версия уже тестируется сотрудниками: разработчики могут запрашивать код через чат, инспектировать интерфейсы и исправлять ошибки с помощью ИИ. Это ускорит процессы разработки, но пока неясно, когда инструмент станет доступен публично.

Ранее Apple анонсировала Swift Assist, однако проект застопорился из-за частых галлюцинаций ИИ. Сотрудничество с Anthropic должно решить эти проблемы.
macrumors.com

✔️ FutureHouse представила ИИ-агентов для научных исследований.

Некоммерческая организация FutureHouse, поддержанная Эриком Шмидтом, запустила платформу с четырьмя ИИ-агентами: Crow, Falcon, Owl и Phoenix. Они помогают анализировать научную литературу, планировать эксперименты и искать данные в специализированных базах. По словам разработчиков, их система использует открытые научные работы и многоэтапный анализ с «прозрачной логикой».

FutureHouse предупреждает, что Phoenix, отвечающий за химические эксперименты, может выдавать некорректные результаты и призывает пользователей делиться обратной связью для доработки.
futurehouse.org

✔️ Инженеры создали первый фотонный чип для обучения ИИ.

Специалисты из Пенсильванского университета представили революционный фотонный чип, способный обучать нейросети с помощью света. Технология не только ускоряет процесс в разы, но и резко снижает энергозатраты, открывая путь к полностью оптическим вычислениям. В отличие от традиционных электронных чипов, здесь данные обрабатываются световыми импульсами, а не электричеством — это позволяет выполнять сложные нелинейные операции, критичные для глубокого обучения.

Основа инновации — управление светом через специальный полупроводниковый материал. Два луча («signal» и «pump») взаимодействуют, меняя свойства материала в реальном времени. Это дает возможность перепрограммировать чип без изменения его структуры, достаточно настроить параметры «pump»-луча. В тестах система показала 97% точности на задачах с нелинейными границами решений, обойдя цифровые аналоги по эффективности.

Уже сейчас 4 оптических соединения на чипе заменяют 20 электронных, а в будущем технология может масштабироваться для обучения LLM.
scitechdaily.com

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🖥 500+ промптов для любых задач — собрано в одном месте.

Всего 9 категорий: бизнес, карьера (подходит для создания резюме), креатив, образование, здоровье, маркетинг, технологии, личный помощник и универсальные.

Сохраняйте, чтобы всегда под рукой. Ускоряйте работу и повышайте свою эффективность!

https://www.promptly.fyi/library
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥 Burn — Rust-фреймворк для глубокого обучения с акцентом на производительность. В отличие от монолитных решений вроде PyTorch, Burn изначально заточен под кросс-платформенное выполнение: одна и та же модель может работать на NVIDIA/AMD GPU через CUDA/ROCm, на Apple-чипах через Metal и даже в браузере через WebGPU.

Главная фишка проекта в модульной архитектуре с подключаемым бэкендом и автоматической оптимизацией вычислений. Например, система умеет объединять операции ядер без ручного вмешательства. Для исследователей есть встроенный дашборд для мониторинга обучения, а для продакшна простая конвертация в ONNX.

🤖 GitHub

@bigdatai
🔜 Google запускает новую инициативу в сфере кино и телевидения под названием 100 Zeros — это многолетнее партнёрство с Range Media Partners, направленное на финансирование и производство как художественного, так и документального контента. Цель проекта — использовать силу повествования для продвижения технологий Google, таких как искусственный интеллект и Immersive View, а также для формирования позитивного имиджа компании среди молодёжи.

В рамках 100 Zeros уже поддержан инди-хоррор "Cuckoo", а также запущена программа "AI On Screen" для создания короткометражных фильмов об ИИ, некоторые из которых могут перерасти в полнометражные проекты. Интересно, что Google не планирует использовать YouTube в качестве основной платформы распространения; вместо этого компания намерена продавать проекты традиционным студиям и стриминговым сервисам, таким как Netflix.

Эта стратегия отражает стремление Google интегрировать свои продукты в массовую культуру и укрепить позиции на рынке технологий, конкурируя с такими гигантами, как Apple и OpenAI.

https://www.businessinsider.com/google-tv-movie-hollywood-boost-tech-image-hundred-zeros-2025-5
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Апскейлим ЮБОЕ видео до 8К (!) и 120 FPS — в редактор KREA завезли мощный апскейлер голливудского уровня от Topaz.

Фича вытянет любой шакал на голливудский уровень качества — дорисует кадры и поднимет разрешение.

Улучшаем свои видосы тут.
🔍 Vespa — поисковая платформа для работы с векторами и ML-моделями в реальном времени.

Проект предлагает нестандартный подход к обработке данных: он объединяет полнотекстовый поиск, векторные операции и ML-инференс в едином конвейере.

🤖 GitHub

@bigdatai
✔️ Дорожная карта бесплатных курсов по машинному обучению 2025

В статье собраны 50 лучших бесплатных или условно-бесплатных курсов (сертификат может быть платным), разделённых по уровням:
*Вводный (Beginner) → Промежуточный (Intermediate) → Продвинутый (Advanced).*
После каждого описания приведена полная кликабельная ссылка.

➡️ Курсы
Please open Telegram to view this post
VIEW IN TELEGRAM
✔️ OpenAI запускает HealthBench.

OpenAI представила HealthBench - бенчмарк для тестирования ИИ-систем в сфере здравоохранения. Разработанный при участии 262 врачей из 60 стран, он включает 5000 реалистичных диалогов, имитирующих общение пациентов и медиков. Каждый сценарий оценивается по индивидуальным критериям, созданным экспертами: точность данных или ясность ответов.

Всего в бенчмарке 48 562 параметра оценки, что позволяет глубоко анализировать работу моделей. Особый упор сделан на надежность: даже один ошибочный ответ в медицине критичен. HealthBench включает подборки сложных кейсов (HealthBench Hard), где современные ИИ еще отстают. Все данные и методики уже доступны в GitHub-репозитории OpenAI .
openai.com
Please open Telegram to view this post
VIEW IN TELEGRAM
SageAttention — революция в скорости работы трансформеров

Исследователи из THU-ML представили инновационный метод ускорения attention-слоёв, который не требует изменения архитектуры моделей. Проект использует интеллектуальное 8-битное квантование матриц внимания, сохраняя при этом точность оригинальных моделей.

На новых GPU RTX 5090 решение показывает впечатляющие 2.7x ускорение по сравнению с FlashAttention-2. Технология уже интегрируется в популярные фреймворки, для тестирования достаточно заменить одну строку кода.

🤖 GitHub

@bigdatai
✈️ Apache Avro — универсальная система сериализации данных. Этот проект с открытым исходным кодом позволяет компактно упаковывать данные с сохранением схемы, что особенно ценно при работе с Kafka, Hadoop и другими системами потоковой обработки.

Инструмент выделяется кросс-языковой поддержкой и эффективным бинарным форматом, который минимизирует накладные расходы по сравнению с JSON или XML. Сейчас проект активно развивается: в CI-пайплайнах появилась поддержка ARM-серверов, а для разработчиков — devcontainers, ускоряющие старт работы с кодом.

🤖 GitHub

@bigdatai
🧠 String‑Membrane‑Nets и фрактонные фазы через gauging симметрий
📝 arXiv:2505.13604 (май 2025)

Эта статья предлагает нетривиальный способ построения фрактонных фаз в 3+1D через механизмы gauging 1‑формных симметрий.

🔹 Что предложено?
Вместо традиционной конденсации p‑струн (p‑string condensation), авторы используют калибровку (gauging) 1‑формной симметрии. Это позволяет получить фрактонные фазы с контролируемыми свойствами, без приближений.

🔹 Основные итоги:
• Связь между 2+1D anyon condensation и 3+1D фрактонными фазами
• Построение string‑membrane‑net моделей — обобщение string-net на 3D
• Чёткая связь между field-theoretic и lattice описаниями
• Получение X‑Cube модели через gauging стекинга \(\mathbb{Z}_N\) gauge теорий

🔹 Почему это важно?
• Новый путь для создания устойчивых квантовых кодов и фрактонной материи
• Математически строгий и универсальный подход для генерации фрактонных возбуждений
• Расширение инструментов топологического фазового инжиниринга в 3D

🔬 Для кого это?
Физики, изучающие квантовые топологические фазы, исследователи квантовой информации и теоретики, работающие над фрактонными системами и higher-form symmetries.

📖 https://arxiv.org/abs/2505.13604
Media is too big
VIEW IN TELEGRAM
Прогресс искусственного интеллекта поистине стремителен

#Veo3

@data_analysis_ml
2025/06/30 04:08:27
Back to Top
HTML Embed Code: