🧠 Хочешь понять, на чём основана модель Gemma 3n от Google?
Вот ключевые научные работы, стоящие за её архитектурой и обучением:
🔹 AltUp — улучшение аппроксимации внимания
https://arxiv.org/abs/2301.13310
🔹 LAuReL — расширение языковых моделей за счёт многоязычного претрейнинга
https://arxiv.org/abs/2411.07501
🔹 MatFormer — матричная факторизация для масштабируемых LLM
https://arxiv.org/abs/2310.07707
🔹 Activation Sparsity — обучение моделей с разреженной активацией
https://arxiv.org/abs/2506.06644
🔹 Universal Speech Model — единая модель для понимания и генерации речи
https://arxiv.org/abs/2303.01037
📘 Блог Google с обзором архитектуры и практическим гайдом по Gemma 3n:
https://developers.googleblog.com/en/introducing-gemma-3n-developer-guide/
Вот ключевые научные работы, стоящие за её архитектурой и обучением:
🔹 AltUp — улучшение аппроксимации внимания
https://arxiv.org/abs/2301.13310
🔹 LAuReL — расширение языковых моделей за счёт многоязычного претрейнинга
https://arxiv.org/abs/2411.07501
🔹 MatFormer — матричная факторизация для масштабируемых LLM
https://arxiv.org/abs/2310.07707
🔹 Activation Sparsity — обучение моделей с разреженной активацией
https://arxiv.org/abs/2506.06644
🔹 Universal Speech Model — единая модель для понимания и генерации речи
https://arxiv.org/abs/2303.01037
📘 Блог Google с обзором архитектуры и практическим гайдом по Gemma 3n:
https://developers.googleblog.com/en/introducing-gemma-3n-developer-guide/
🧠 WM-Abench — бенчмарк для оценки памяти у мультимодальных LLM
Новый open-source бенчмарк от Maitrix Research оценивает, как мультимодальные модели (текст + изображение) запоминают и используют визуальную информацию.
📌 Что проверяется:
– Могут ли LLM “удерживать в голове” объекты, числа и расположение
– Насколько глубоко модель понимает визуальный контекст
– Способна ли она логически оперировать на основе того, что “видела”
📈 Поддерживаются: GPT‑4o, Gemini, Claude, LLaVA и другие
🔍 Задания: от простых “где лежит мяч?” до сложных визуальных рассуждений
Исследователи из Maitrix оценили 15 SOTA мультимодальных моделей (включая o3 и Gemini 2.5 Pro) по 23 когнитивным измерениям: от базового восприятия до предсказания будущих состояний.
Ключевые выводы:
🔹 Модели хорошо справляются с распознаванием, но проваливаются в 3D-пространственном мышлении, динамике движения и причинно-следственной симуляции.
🔹 VLM склонны “путать” физику: даже изменение цвета объекта сбивает модель на задачах восприятия.
🔹 В сложных задачах предсказания следующего состояния — даже лучшие модели отстают от человека на 34.3%.
🔹 Точность восприятия ≠ понимание: даже “увидев” всё правильно, модели не умеют достроить последствия и взаимодействия объектов.
Отличный инструмент, чтобы понять на что реально способна ваша мультимодальная модель, а не только на красивые демо.
🔗 https://wm-abench.maitrix.org
#LLM #AI #multimodal #benchmark
Новый open-source бенчмарк от Maitrix Research оценивает, как мультимодальные модели (текст + изображение) запоминают и используют визуальную информацию.
📌 Что проверяется:
– Могут ли LLM “удерживать в голове” объекты, числа и расположение
– Насколько глубоко модель понимает визуальный контекст
– Способна ли она логически оперировать на основе того, что “видела”
📈 Поддерживаются: GPT‑4o, Gemini, Claude, LLaVA и другие
🔍 Задания: от простых “где лежит мяч?” до сложных визуальных рассуждений
Исследователи из Maitrix оценили 15 SOTA мультимодальных моделей (включая o3 и Gemini 2.5 Pro) по 23 когнитивным измерениям: от базового восприятия до предсказания будущих состояний.
Ключевые выводы:
🔹 Модели хорошо справляются с распознаванием, но проваливаются в 3D-пространственном мышлении, динамике движения и причинно-следственной симуляции.
🔹 VLM склонны “путать” физику: даже изменение цвета объекта сбивает модель на задачах восприятия.
🔹 В сложных задачах предсказания следующего состояния — даже лучшие модели отстают от человека на 34.3%.
🔹 Точность восприятия ≠ понимание: даже “увидев” всё правильно, модели не умеют достроить последствия и взаимодействия объектов.
Отличный инструмент, чтобы понять на что реально способна ваша мультимодальная модель, а не только на красивые демо.
🔗 https://wm-abench.maitrix.org
#LLM #AI #multimodal #benchmark
Интелион Облако запускает розыгрыш 🎉
Главный приз – 3 сервера с А10 или А5000. Также разыгрываются приятные скидки.
Запусти нейросеть, рендер, LLM или сложные вычисления на топовом GPU за 1 рубль!
Как принять участие:
1. Зарегистрироваться на Intelion.cloud
2. Заполнить форму розыгрыша
3. Подписаться на ТГ канал
Итоги подведем 5 июля в прямом эфире в канале Artificial Intelion.
Не забудь поделиться с другом!
Главный приз – 3 сервера с А10 или А5000. Также разыгрываются приятные скидки.
Запусти нейросеть, рендер, LLM или сложные вычисления на топовом GPU за 1 рубль!
Как принять участие:
1. Зарегистрироваться на Intelion.cloud
2. Заполнить форму розыгрыша
3. Подписаться на ТГ канал
Итоги подведем 5 июля в прямом эфире в канале Artificial Intelion.
Не забудь поделиться с другом!
🧠 II-Medical-8B-1706 — open-source LLM для медицинских задач!
▪️ Превзошла MedGemma 27B от Google при 70% меньшем количестве параметров
▪️ Квантизированные веса GGUF — модель запускается даже на <8 ГБ ОЗУ
Model card: https://huggingface.co/Intelligent-Internet/II-Medical-8B-1706
GGUF quantization: https://huggingface.co/Intelligent-Internet/II-Medical-8B-1706-GGUF
▪️ Превзошла MedGemma 27B от Google при 70% меньшем количестве параметров
▪️ Квантизированные веса GGUF — модель запускается даже на <8 ГБ ОЗУ
Model card: https://huggingface.co/Intelligent-Internet/II-Medical-8B-1706
GGUF quantization: https://huggingface.co/Intelligent-Internet/II-Medical-8B-1706-GGUF
Microsoft уволит 9 000 сотрудников — это примерно 4% от общего числа работников компании.
Очевидно, что ИИ действительно делает людей ненужными. И это уже не просто громкие заявления.
@data_analysis_ml
Очевидно, что ИИ действительно делает людей ненужными. И это уже не просто громкие заявления.
@data_analysis_ml
🧠 Теперь можно вычислять LLM, которые «накрутили» баллы на бенчмарказ по математике, но не умеют больше ничего.
В свежем исследовании *“Does Math Reasoning Improve General LLM Capabilities?”* показано, что модели, обученные на математике с помощью SFT, часто не улучшаются вне математики — а иногда даже деградируют.
📊 Что выяснили:
• SFT на математике → ухудшение на нематематических задачах
• RL на математике → перенос улучшений в другие домены
• SFT вызывает сильное смещение представлений и токен-дистрибуций
• RL наоборот — сохраняет топологию модели и двигает только логические оси
🧪 Авторами разработан новый инструмент — Transferability Index:
Это простое соотношение между улучшением на математике и изменением на сбалансированном наборе задач. Помогает понять:
✔️ где модель реально умнее
❌ а где — просто бенчмарк‑максинг
📌 Вывод: RL-постобучение лучше предотвращает «забвение» и делает LLM более универсальными.
SFT — может казаться эффективным, но часто ухудшает общие способности модели.
📌 Подробнее
В свежем исследовании *“Does Math Reasoning Improve General LLM Capabilities?”* показано, что модели, обученные на математике с помощью SFT, часто не улучшаются вне математики — а иногда даже деградируют.
📊 Что выяснили:
• SFT на математике → ухудшение на нематематических задачах
• RL на математике → перенос улучшений в другие домены
• SFT вызывает сильное смещение представлений и токен-дистрибуций
• RL наоборот — сохраняет топологию модели и двигает только логические оси
🧪 Авторами разработан новый инструмент — Transferability Index:
Это простое соотношение между улучшением на математике и изменением на сбалансированном наборе задач. Помогает понять:
✔️ где модель реально умнее
❌ а где — просто бенчмарк‑максинг
📌 Вывод: RL-постобучение лучше предотвращает «забвение» и делает LLM более универсальными.
SFT — может казаться эффективным, но часто ухудшает общие способности модели.
📌 Подробнее
🚀 OpenAI заказала у Oracle колоссальные мощности для ИИ — 4.5 гигаватта
Это крупнейший в истории контракт на вычисления для искусственного интеллекта. Проект Stargate и теперь это самый масштабный заказ на AI-инфраструктуру в мире.
💰 Контракт включён в большое соглашение Oracle на $30 миллиардов в год, которое начнёт действовать со следующего фискального года.
🔧 Чтобы всё это обеспечить, Oracle:
- Расширит дата-центр в Техасе (Абилин) с 1.2 до 2 гигаватт
- Построит новые кампусы в Техасе, Мичигане, Висконсине и Вайоминге
Источник: bloomberg.com
@data_analysis_ml
Это крупнейший в истории контракт на вычисления для искусственного интеллекта. Проект Stargate и теперь это самый масштабный заказ на AI-инфраструктуру в мире.
💰 Контракт включён в большое соглашение Oracle на $30 миллиардов в год, которое начнёт действовать со следующего фискального года.
🔧 Чтобы всё это обеспечить, Oracle:
- Расширит дата-центр в Техасе (Абилин) с 1.2 до 2 гигаватт
- Построит новые кампусы в Техасе, Мичигане, Висконсине и Вайоминге
Источник: bloomberg.com
@data_analysis_ml
🧭 PyCuVSLAM — быстрый и точный SLAM от NVIDIA с Python‑интерфейсом
Что такое SLAM:
SLAM (Simultaneous Localization and Mapping) — это технология, которая позволяет устройству одновременно строить карту окружающей среды и определять своё местоположение внутри неё.
Применяется в роботах, дронах, AR/VR и автономных транспортных средствах.
Что такое PyCuVSLAM:
PyCuVSLAM — это Python-обёртка над cuVSLAM, высокопроизводительным SLAM-движком от NVIDIA. Он использует CUDA-ускорение и позволяет системам в реальном времени отслеживать движение и строить карту окружающего мира.
🔧 Основные возможности:
• Аппаратное ускорение на NVIDIA GPU (включая Jetson)
• Поддержка от 1 до 32 камер + опциональный IMU
• Можно подключать обычные RGB-камеры, камеры глубины и сенсоры движения
• Работает в конфигурациях от простой однокамерной до мультисенсорных систем
• Удобный Python API — быстро подключается и настраивается
💻 Установка:
• Поддерживает Ubuntu 22.04+, Python 3.10, CUDA 12.6
• Устанавливается через pip, Docker или запускается на Jetson
• Есть готовые примеры для быстрой работы
🧠 Для кого:
• Разработчики роботов, дронов, AR/VR
• Те, кому нужен точный и быстрый SLAM без глубокой настройки
📌 GitHub
Что такое SLAM:
SLAM (Simultaneous Localization and Mapping) — это технология, которая позволяет устройству одновременно строить карту окружающей среды и определять своё местоположение внутри неё.
Применяется в роботах, дронах, AR/VR и автономных транспортных средствах.
Что такое PyCuVSLAM:
PyCuVSLAM — это Python-обёртка над cuVSLAM, высокопроизводительным SLAM-движком от NVIDIA. Он использует CUDA-ускорение и позволяет системам в реальном времени отслеживать движение и строить карту окружающего мира.
🔧 Основные возможности:
• Аппаратное ускорение на NVIDIA GPU (включая Jetson)
• Поддержка от 1 до 32 камер + опциональный IMU
• Можно подключать обычные RGB-камеры, камеры глубины и сенсоры движения
• Работает в конфигурациях от простой однокамерной до мультисенсорных систем
• Удобный Python API — быстро подключается и настраивается
💻 Установка:
• Поддерживает Ubuntu 22.04+, Python 3.10, CUDA 12.6
• Устанавливается через pip, Docker или запускается на Jetson
• Есть готовые примеры для быстрой работы
🧠 Для кого:
• Разработчики роботов, дронов, AR/VR
• Те, кому нужен точный и быстрый SLAM без глубокой настройки
📌 GitHub
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
Veo 3 Fast - это ускоренная версия модели для создания видео из текста. Она обрабатывает запросы более чем в два раза быстрее Veo 3, но с ограничением по качеству: максимум 720p.
Сервис доступен в 159 странах, включая все страны Европы. Пользователи Gemini Pro получают три генерации в день, а подписчики Ultra — до 125 видео в месяц. Дополнительно, снизили частоту отклонения пользовательских промптов.
Google уже готовит добавление функции Image-to-video, она находится «на финальной стадии».
Josh Woodward (VP Google) в сети X
Ученые из Helmholtz Munich создали модель Centaur, способную предсказывать решения людей в любых психологических задачах, от выбора риска до обучения. Команда адаптировала Llama 3.1, обучив ее на данных из 10 млн. решений. По тестам Centaur превзошел специализированные алгоритмы, которые разрабатывали годами. Модель угадывает поведение даже в новых сценариях при изменении контекста задачи или добавления новых опций.
Внутренние процессы Centaur начали напоминать активность человеческого мозга без прямого обучения на нейронных данных. Цифровой «мозг» даже открыл новую стратегию принятия решений.
Исследователи открыли доступ к модели и датасету Psych-101, обещая прорыв в психологии, образовании и дизайне продуктов.
nature.com
Компания разрабатывает функцию для чат-ботов в своем AI Studio: они смогут инициировать диалог с пользователями, если те ранее активно общались с ботом (не менее 5 сообщений за 2 недели). После первого ответного сообщения от пользователя боты продолжат общение, но только в течение 14 дней, и прекратят попытки, если ответа не последует.
Цель функции - удерживать аудиторию, увеличивая вовлеченность, это напрямую связано со стратегией монетизации ИИ-продуктов (прогнозируемый доход $2–3 млрд. в 2025 году). Пилотный тест уже запущен, но детали реализации остаются расплывчатыми.
businessinsider.com
Более 45 технологических и промышленных гигантов призвали Еврокомиссию перенести сроки вступления в силу закона об искусственном интеллекте на два года. Они утверждают, что текущие требования к мощным ИИ-моделям слишком расплывчаты и угрожают развитию инноваций.
Регулирование должно начаться в августе, инициативу отрытого обращения к ЕК запустили General Catalyst, SAP и Spotify, хотя последние двое не подписали письмо.
bloomberg.com
Облачный провайдер CoreWeave первым установил серверы Nvidia GB300 NVL72 с новыми GPU Blackwell Ultra. Платформа, собранная Dell, объединяет 72 видеокарты и 36 процессоров Grace, обеспечивает 50-кратный роста производительности при инференсе и 5-кратную энергоэффективность по сравнению с архитектурой Hopper. Инсталляция ориентирована на тяжелые нейросетевые задачи и агентные вычисления.
Система уже доступна клиентам, раннее внедрение может стать козырем провайдера в конкуренции за внимание технической аудитории.
cnbc.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🚀 Вышла новая модель DeepSeek-TNG R1T2 Chimera 671B
Особенности:
- примерно на 20% быстрее обычного R1 и более чем в 2 раза быстрее R1-0528
- значительно умнее стандартного R1 по бенчмаркам GPQA и AIME-24
- намного умнее и обеспечивает согласованность think-token по сравнению с первым R1T Chimera 0426
R1T2 получает веса из R1-0528, R1 и V3-0324 с помощью Assembly-of-Experts. Слияние сохраняет способность рассуждать R1-0528 и использует лёгкие общие слои V3-0324, так что ответы остаются точными и ёмкими.
Модель распространяется под лицензией MIT на huggingface
https://huggingface.co/tngtech/DeepSeek-TNG-R1T2-Chimera
@data_analysis_ml
Особенности:
- примерно на 20% быстрее обычного R1 и более чем в 2 раза быстрее R1-0528
- значительно умнее стандартного R1 по бенчмаркам GPQA и AIME-24
- намного умнее и обеспечивает согласованность think-token по сравнению с первым R1T Chimera 0426
R1T2 получает веса из R1-0528, R1 и V3-0324 с помощью Assembly-of-Experts. Слияние сохраняет способность рассуждать R1-0528 и использует лёгкие общие слои V3-0324, так что ответы остаются точными и ёмкими.
Модель распространяется под лицензией MIT на huggingface
https://huggingface.co/tngtech/DeepSeek-TNG-R1T2-Chimera
@data_analysis_ml
🌳 Tree of Thoughts — новый подход к решению задач с LLM. Этот проект из Princeton NLP предлагает альтернативу стандартной цепочке мыслей (CoT)— метод дерева мыслей, где языковая модель исследует несколько путей решения параллельно. Вместо линейного рассуждения, алгоритм строит дерево гипотез и выбирает оптимальную ветку через поиск в ширину.
В репозитории приведены разнообразные примеры работы метода: от математических головоломок вроде игры "24" до творческих задач. Там же есть все промпты и логи экспериментов из оригинальной статьи, где ToT показал преимущество перед классическим CoT.
🤖 GitHub
@data_analysis_ml
В репозитории приведены разнообразные примеры работы метода: от математических головоломок вроде игры "24" до творческих задач. Там же есть все промпты и логи экспериментов из оригинальной статьи, где ToT показал преимущество перед классическим CoT.
🤖 GitHub
@data_analysis_ml
💡 WebSailor: опенсорс агент от Alibaba который ищет информацию в вебе
* Суть работы
Авторы предлагают методику пост-обучения, чтобы LLM могла шаг за шагом уточнять запросы и находить нужные данные на сложных страницах.
* Главные приёмы
* *Structured Sampling* — генерация задач с высокой неопределённостью.
* *Information Obfuscation* — часть подсказок скрывается, что заставляет модель планировать глубже.
* *DUPO* — облегчённый RL-алгоритм для обучения агентнов.
* Результаты
На датасете BrowseComp открытая версия агента выходит на уровень закрытых систем и в отдельных случаях работает быстрее человека. :contentReference[oaicite:2]{index=2}
* Код и веса
📌Ссылка: https://huggingface.co/papers/2507.02592
* Суть работы
Авторы предлагают методику пост-обучения, чтобы LLM могла шаг за шагом уточнять запросы и находить нужные данные на сложных страницах.
* Главные приёмы
* *Structured Sampling* — генерация задач с высокой неопределённостью.
* *Information Obfuscation* — часть подсказок скрывается, что заставляет модель планировать глубже.
* *DUPO* — облегчённый RL-алгоритм для обучения агентнов.
* Результаты
На датасете BrowseComp открытая версия агента выходит на уровень закрытых систем и в отдельных случаях работает быстрее человека. :contentReference[oaicite:2]{index=2}
* Код и веса
📌Ссылка: https://huggingface.co/papers/2507.02592
This media is not supported in your browser
VIEW IN TELEGRAM
Kontext Relight! 💡✨
LoRA-адаптер FLUX Kontext Relight обученный для изменения освещения фото.
Выглядит очень годно, потестить можно здесь.
https://huggingface.co/kontext-community/relighting-kontext-dev-lora-v3
@data_analysis_ml
LoRA-адаптер FLUX Kontext Relight обученный для изменения освещения фото.
Выглядит очень годно, потестить можно здесь.
https://huggingface.co/kontext-community/relighting-kontext-dev-lora-v3
@data_analysis_ml