@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5👍1
Forwarded from Machinelearning
⚡️NVIDIA выпустили Eagle 2 — 1B, 2B и 9B VLM.
Eagle 2 - это обновление семейство мощных vision language моделей.
Модель 9B превосходит GPT4o ChartQA, OCRBench и MathVista, а также Llama 3.2 Vision 90B и llava 70B 🔥
Может работать с длинным контекстом, поддерживает 4K, HD.
> Eagle2-9B превосходит InternVL2-8B и MiniCPM-v2.6 по всем 14 тестам
> Он превосходит Qwen2-VL-7B в 9 из 14 тестов и превосходит его в OpenCompass
> Конкурирует с более крупными моделями, такими как InternVL2-26B, LLaVa-OneVision-72B и LLaMa-3.2-90B-Vision
> Eagle2-9B превосходит GPT-4o на ChartQA, OCRBench и MathVista и близок к GPT-4o на DocVQA, MMStar, AI2D и OpenCompass
> В открытом доступе выложены модель и чекпоинты
🤗 Hf: https://huggingface.co/collections/nvidia/eagle-2-6764ba887fa1ef387f7df067
@ai_machinelearning_big_data
#eagle #nvidia #vision #ml #ai
Eagle 2 - это обновление семейство мощных vision language моделей.
Модель 9B превосходит GPT4o ChartQA, OCRBench и MathVista, а также Llama 3.2 Vision 90B и llava 70B 🔥
Может работать с длинным контекстом, поддерживает 4K, HD.
> Eagle2-9B превосходит InternVL2-8B и MiniCPM-v2.6 по всем 14 тестам
> Он превосходит Qwen2-VL-7B в 9 из 14 тестов и превосходит его в OpenCompass
> Конкурирует с более крупными моделями, такими как InternVL2-26B, LLaVa-OneVision-72B и LLaMa-3.2-90B-Vision
> Eagle2-9B превосходит GPT-4o на ChartQA, OCRBench и MathVista и близок к GPT-4o на DocVQA, MMStar, AI2D и OpenCompass
> В открытом доступе выложены модель и чекпоинты
@ai_machinelearning_big_data
#eagle #nvidia #vision #ml #ai
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6🔥3👍1😁1
Forwarded from Machinelearning
⚡️ Hailuo AI выпустили новую версию своего генератора видео T2V 01 Director, в которой упор сделан на контроль камеры!
Модель управления и движения камеры работает просто великолепно.
✨ Что нового:
- Уменьшена хаотичность движений генераций.
- Повышена точность управления.
- Улучшена эстетика движения камеры.
📌 Попробовать
@ai_machinelearning_big_data
#video #ai #videogenerator #Hailuo
Модель управления и движения камеры работает просто великолепно.
✨ Что нового:
- Уменьшена хаотичность движений генераций.
- Повышена точность управления.
- Улучшена эстетика движения камеры.
📌 Попробовать
@ai_machinelearning_big_data
#video #ai #videogenerator #Hailuo
👍8❤3
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6👍2🔥1
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👎7👍4😁3❤2🥰1
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3❤1
🚀 Свежий 100% бесплатный API с дистиллированным DeepSeek-R1 Llama 70B.
Доступно на Together AI, они размещают эти модели в своих собственных центрах обработки данных, и никакие данные не отправляются обратно в DeepSeek.
Примечание: эндпоинт бесплатной модели имеет ограничения по скорости и производительности по сравнению с их платными режимами Turbo, тем не менее все работает.
https://api.together.ai/playground/chat/deepseek-ai/DeepSeek-R1-Distill-Llama-70B-free
@machinelearning_ru
Доступно на Together AI, они размещают эти модели в своих собственных центрах обработки данных, и никакие данные не отправляются обратно в DeepSeek.
Примечание: эндпоинт бесплатной модели имеет ограничения по скорости и производительности по сравнению с их платными режимами Turbo, тем не менее все работает.
https://api.together.ai/playground/chat/deepseek-ai/DeepSeek-R1-Distill-Llama-70B-free
@machinelearning_ru
🔥8👍4👎3❤1
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11❤2🔥2
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7❤2🔥2
Forwarded from Machinelearning
⚡ LitGPT
20+ производительных LLM, написанных с нуля, с подробным описанием, инструкциями, файнтюнигу и деплою.
Особенности:
🟢 Модели написаны с нуля
🟢 Нет абстракций
🟢 Подходит для обучения новичков
🟢 Flash attention
🟢 FSDP
🟢 LoRA, QLoRA, Adapter
🟢 Уменьшение памяти GPU (fp4/8/16/32)
🟢 1-1000+ GPU/TPUs
🟢 20+ LLMs
Установка:
Пример:
▪Github
▪Docs
▪Video
@ai_machinelearning_big_data
#LitGPT #tutorial #llm #ai #ml
20+ производительных LLM, написанных с нуля, с подробным описанием, инструкциями, файнтюнигу и деплою.
Особенности:
Установка:
pip install 'litgpt[all]'
Пример:
from litgpt import LLM
llm = LLM.load("microsoft/phi-2")
text = llm.generate("Fix the spelling: Every fall, the familly goes to the mountains.")
print(text)
# Corrected Sentence: Every fall, the family goes to the mountains.
▪Github
▪Docs
▪Video
@ai_machinelearning_big_data
#LitGPT #tutorial #llm #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5🔥3❤2
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7❤4👏1
Forwarded from Machinelearning
Mixture-of-Mamba — экспериментальная архитектура, которая делает мультимодальные модели (работающие с разными типами данных, например, текстом, изображениями и речью) более эффективными и быстрыми. Она использует идею разреженности, чтобы уменьшить количество вычислений, сохраняя при этом высокое качество работы модели.
Разреженность — это подход, при котором модель фокусируется только на приоритетных данных, игнорируя менее значимые. Это похоже на то, как человек читает текст: мы не вникаем в каждую букву, а схватываем ключевые слова и фразы. В ML разреженность позволяет: уменьшить вычислительные затраты, ускорить обучение и инференс, повысить качество.
Mixture-of-Mamba добавляет модально-ориентированную разреженность в блоки Mamba и динамически выбирает модально-специфичные веса в каждом компоненте обработки ввода блоков Mamba.
В отличие от MoE-Mamba, где разреженность применяется только к MLP-слоям, Mixture-of-Mamba модифицирует непосредственно структуру блока Mamba. Модально-специфичная параметризация применяется к входной проекции, промежуточным и выходной проекциям. Сверточные слои и переходы состояний остаются общими.
Обучение Mixture-of-Mamba происходит в 3 модальных режимах: Transfusion (чередование текста и непрерывных токенов изображений с диффузионной потерей), Chameleon (чередование текста и дискретных токенов изображений) и расширенная трехмодальная среда со включением речи.
В Transfusion Mixture-of-Mamba достигает эквивалентных значений потерь для изображений, используя при этом лишь 34.76% от общего объема вычислительных ресурсов (FLOPs) при масштабе модели 1.4B. В сценарии Chameleon аналогичный уровень потерь при обработке изображений при использовании 42.50% FLOPs, а при обработке текстовых данных – 65.40% FLOPs. В трехмодальной среде Mixture-of-Mamba показывает потери в речевом режиме при 24.80% FLOPs на масштабе 1.4B.
@ai_machinelearning_big_data
#AI #ML #MMLM #Mamba #MixtureOfMamba
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4❤2🔥2