This media is not supported in your browser
VIEW IN TELEGRAM
🎓 stable point-aware 3D от Stability AI
Свежий опенсорс инструмент, который отлично справляется с созданием 3D объектов по одному изображению.
Работает так - диффузионная модель генерирует облако точек, после чего трансформер обрабатывает его совместно с исходным изображением, восстанавливая геометрию объекта, текстуры и освещение.
Вы можете редактировать облако точек различными способами: удалять, дублировать, растягивать, добавлять новые элементы или изменять цвета отдельных точек.
▪ HF: https://huggingface.co/spaces/stabilityai/stable-point-aware-3d
▪Github: https://github.com/Stability-AI/stable-point-aware-3d
Свежий опенсорс инструмент, который отлично справляется с созданием 3D объектов по одному изображению.
Работает так - диффузионная модель генерирует облако точек, после чего трансформер обрабатывает его совместно с исходным изображением, восстанавливая геометрию объекта, текстуры и освещение.
Вы можете редактировать облако точек различными способами: удалять, дублировать, растягивать, добавлять новые элементы или изменять цвета отдельных точек.
▪ HF: https://huggingface.co/spaces/stabilityai/stable-point-aware-3d
▪Github: https://github.com/Stability-AI/stable-point-aware-3d
👍5❤2🥰1
Forwarded from Machinelearning
🚀 Функции MiniMax-Text-01 и MiniMax-VL-01 основаны на ультрасовременной архитектуре "Lightning Attention".
→ В MiniMax-Text-01 реализован гибридный подход, при котором в 7 из каждых 8 слоев используется Lightning Attention, а в одном - SoftMax для улучшения баланса модель.
Такая архитектура позволяет эффективно обрабатывать сверхдлинные последовательности.
→ Версия с открытым исходным кодом включает в себя полный набор весов и API. По цене примерно 0,2 доллара за миллион входных токенов и 1,1 доллара за миллион выходных токенов — вполне конкурентоспособные цены.
На тестах модель превосходит платный Deep Seek v3 ! 💥
→ В задачах с длинным контекстом MiniMax-Text-01 достиг 100% точности в тесте поиска "Needle-in-a-Haystack" с использованием 4 миллионов токенов, превосходя топовые модели в реальных задачах с использованием искусственного интеллекта.
📑Paper:https://filecdn.minimax.chat/_Arxiv_MiniMax_01_Report.pdf
📖Read more: https://minimaxi.com/en/news/minimax-01-series-2
@ai_machinelearning_big_data
#llm #MiniMax #ai #agents #ml #opensource
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5❤2🔥2
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6🔥1🥰1
🥁🎷JASCO 🎶🪇 training & inference code + model weights are out!
JASCO состоит из модели для токенизации звука и модели согласования потоков, основанной на архитектуре transformer для музыкального моделирования.
Модель представлена в 2х размерах: 400 м и 1B; и в настоящее время имеет два варианта управления: text-to-music + {аккорды, ударные} и text-to-music + {аккорды, ударные, мелодия}.
▪Сатья📜: https://arxiv.org/abs/2406.10970
▪Примеры🔊: https://pages.cs.huji.ac.il/adiyoss-lab/JASCO/
▪Код🐍: https://github.com/facebookresearch/audiocraft/blob/main/docs/JASCO.md
▪Модели🤗: https://huggingface.co/facebook/jasco-chords-drums-melody-1B
@machinelearning_ru
JASCO состоит из модели для токенизации звука и модели согласования потоков, основанной на архитектуре transformer для музыкального моделирования.
Модель представлена в 2х размерах: 400 м и 1B; и в настоящее время имеет два варианта управления: text-to-music + {аккорды, ударные} и text-to-music + {аккорды, ударные, мелодия}.
▪Сатья📜: https://arxiv.org/abs/2406.10970
▪Примеры🔊: https://pages.cs.huji.ac.il/adiyoss-lab/JASCO/
▪Код🐍: https://github.com/facebookresearch/audiocraft/blob/main/docs/JASCO.md
▪Модели🤗: https://huggingface.co/facebook/jasco-chords-drums-melody-1B
@machinelearning_ru
❤3👍2🔥2
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2❤1🥰1
Forwarded from Machinelearning
🥥 Training Large Language Models to Reason in a Continuous Latent Space
Только что был выпущен код для нового подхода в обучении LLM ризонингу - "Coconut"(Chain of Continuous Thought).
Coconut позволяет LLM рассуждать более эффективно и результативно, особенно при комплексных задачах планирования.
Основная идея алгоритма - это улучшения рассуждений моделей с использованием латентного пространства, вместо выходных лексем
При таком подходе - цепочка мыслей генерирует не в виде текстовых токенов, а в виде эмбеддингов, а затем циклично подаются обратно в LLM.
В «Coconut» у LLM есть два режима. Языковой режим работает как обычная языковая модель, генерируя текст и латентный режим, который использует скрытые состояния в качестве следующего входного сигнала, обозначенного специальными токенами
Скрытые состояния Coconut работают как дерево поиска, а не как линейная цепочка рассуждений, что позволяет модели исследовать несколько потенциальных путей одновременно.
На каждом шаге модель отдает приоритет перспективным узлам, отсекая менее релевантные.
Это помогает эффективнее справляться с задачами планирования и логики, по сравнению с традиционным методом работы CoT.
Как это работает:
1️⃣ Сначала модели подается промпт, за которым следует специальный токен <bot>, чтобы инициировать скрытое рассуждение.
2️⃣ Последнее скрытое состояние LLM после обработки <bot> используется в качестве первой "непрерывной мысли"
3️⃣ Непрерывная мысль подается обратно в модель как новый вход, генерируя новое скрытое состояние (новую мысль). Это повторяется в течение K итераций → цепочка непрерывных мыслей.
4️⃣ Далее добавляется маркер <eot> после последней непрерывной мысли, чтобы завершить скрытое рассуждение.
5️⃣ Последняя непрерывная мысль и <eot> затем используются для генерации ответа.
Такой подход, разумеется, требует большого количества ресурсов при обучении модели.
Плюсы такого подхода:
🏅 Превосходит CoT в задачах, где требуется планирования и сложные рассуждения, таких как ProntoQA и ProsQA
📉 Генерирует значительно меньше лексем во время размышлений по сравнению с CoT
🔀 Может выполнять поиск с широким охватом (BFS), кодируя одновременно несколько альтернативных следующих шагов
▪Github
▪Paper
@ai_machinelearning_big_data
#deeplearning #nlp #reasoning #llm #ml
Только что был выпущен код для нового подхода в обучении LLM ризонингу - "Coconut"(Chain of Continuous Thought).
Coconut позволяет LLM рассуждать более эффективно и результативно, особенно при комплексных задачах планирования.
Основная идея алгоритма - это улучшения рассуждений моделей с использованием латентного пространства, вместо выходных лексем
При таком подходе - цепочка мыслей генерирует не в виде текстовых токенов, а в виде эмбеддингов, а затем циклично подаются обратно в LLM.
В «Coconut» у LLM есть два режима. Языковой режим работает как обычная языковая модель, генерируя текст и латентный режим, который использует скрытые состояния в качестве следующего входного сигнала, обозначенного специальными токенами
<bot> и <eot>.
Скрытые состояния Coconut работают как дерево поиска, а не как линейная цепочка рассуждений, что позволяет модели исследовать несколько потенциальных путей одновременно.
На каждом шаге модель отдает приоритет перспективным узлам, отсекая менее релевантные.
Это помогает эффективнее справляться с задачами планирования и логики, по сравнению с традиционным методом работы CoT.
Как это работает:
1️⃣ Сначала модели подается промпт, за которым следует специальный токен <bot>, чтобы инициировать скрытое рассуждение.
2️⃣ Последнее скрытое состояние LLM после обработки <bot> используется в качестве первой "непрерывной мысли"
3️⃣ Непрерывная мысль подается обратно в модель как новый вход, генерируя новое скрытое состояние (новую мысль). Это повторяется в течение K итераций → цепочка непрерывных мыслей.
4️⃣ Далее добавляется маркер <eot> после последней непрерывной мысли, чтобы завершить скрытое рассуждение.
5️⃣ Последняя непрерывная мысль и <eot> затем используются для генерации ответа.
Такой подход, разумеется, требует большого количества ресурсов при обучении модели.
Плюсы такого подхода:
🏅 Превосходит CoT в задачах, где требуется планирования и сложные рассуждения, таких как ProntoQA и ProsQA
📉 Генерирует значительно меньше лексем во время размышлений по сравнению с CoT
🔀 Может выполнять поиск с широким охватом (BFS), кодируя одновременно несколько альтернативных следующих шагов
git clone [email protected]:facebookresearch/coconut.git
cd coconut
▪Github
▪Paper
@ai_machinelearning_big_data
#deeplearning #nlp #reasoning #llm #ml
❤7
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3❤2
https://jalammar.github.io/illustrated-transformer/
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
❤9🔥1🥰1😁1