🤗 Кто реально двигает open-source ИИ: анализ топ-50 самых скачиваемых моделей на Hugging Face
Исследование показывает, какие организации и типы моделей определяют экосистему открытых моделей.
🔥 Главное:
📦 Топ-50 - это всего 3.4% всех моделей на Hugging Face, но именно они собирают более 80% из 45 миллиардов скачиваний.
Подавляющее большинство активности сосредоточено вокруг небольшой группы лидеров -
именно эти модели формируют лицо всего open-source ИИ.
📉 Размер имеет значение (и чем меньше — тем лучше):
- 92.5% загрузок — модели < 1B параметров
- 86.3% — < 500M
- 70% — < 200M
- 40% — < 100M
Очевидны выводы: в open-source побеждают малые и лёгкие модели, пригодные для локального развёртывания и edge-инференса.
🧠 Популярные направления:
- NLP — 58.1%
- Computer Vision — 21.2%
- Audio — 15.1%
- Multimodal — 3.3%
- Time Series — 1.7%
Кто создаёт самые скачиваемые модели:
- Компании - 63.2% (Google лидер)
- Университеты - 20.7%
- Индивидуальные авторы - 12.1%
- НКО - 3.8%
- Прочие лаборатории - 0.3%
Какие типы моделей побеждают:
- Текстовые энкодеры - 45% всех загрузок
- Декодеры - всего 9.5%
- Энкодер-декодеры - 3%
📌 Несмотря на хайп вокруг LLM, массово скачиваются не гиганты, а утилитарные модельки для интеграции в собственные продукты.
🇺🇸 Лидеры по странам:
США доминируют по всем категориям:
- встречаются 18 раз среди топ-50 скачиваний
- на США приходится 56.4% всех загрузок
Open-source ИИ живёт не за счёт гигантских LLM, а благодаря компактным, быстрым и практичным моделям, мкоторые реально работают в продуктах и проектах.
🟠 Почитать полностью: https://huggingface.co/blog/lbourdois/huggingface-models-stats
@ai_machinelearning_big_data
#AI #HuggingFace #OpenSource #ML #Research #LLM #AITrends
Исследование показывает, какие организации и типы моделей определяют экосистему открытых моделей.
🔥 Главное:
📦 Топ-50 - это всего 3.4% всех моделей на Hugging Face, но именно они собирают более 80% из 45 миллиардов скачиваний.
Подавляющее большинство активности сосредоточено вокруг небольшой группы лидеров -
именно эти модели формируют лицо всего open-source ИИ.
📉 Размер имеет значение (и чем меньше — тем лучше):
- 92.5% загрузок — модели < 1B параметров
- 86.3% — < 500M
- 70% — < 200M
- 40% — < 100M
Очевидны выводы: в open-source побеждают малые и лёгкие модели, пригодные для локального развёртывания и edge-инференса.
🧠 Популярные направления:
- NLP — 58.1%
- Computer Vision — 21.2%
- Audio — 15.1%
- Multimodal — 3.3%
- Time Series — 1.7%
Кто создаёт самые скачиваемые модели:
- Компании - 63.2% (Google лидер)
- Университеты - 20.7%
- Индивидуальные авторы - 12.1%
- НКО - 3.8%
- Прочие лаборатории - 0.3%
Какие типы моделей побеждают:
- Текстовые энкодеры - 45% всех загрузок
- Декодеры - всего 9.5%
- Энкодер-декодеры - 3%
📌 Несмотря на хайп вокруг LLM, массово скачиваются не гиганты, а утилитарные модельки для интеграции в собственные продукты.
🇺🇸 Лидеры по странам:
США доминируют по всем категориям:
- встречаются 18 раз среди топ-50 скачиваний
- на США приходится 56.4% всех загрузок
Open-source ИИ живёт не за счёт гигантских LLM, а благодаря компактным, быстрым и практичным моделям, мкоторые реально работают в продуктах и проектах.
@ai_machinelearning_big_data
#AI #HuggingFace #OpenSource #ML #Research #LLM #AITrends
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥87❤44❤🔥12👍6✍4😐2🆒2💘2
Media is too big
VIEW IN TELEGRAM
Такой вывод сделал Центр демократии и технологий (CDT) в новом отчёте о влиянии искусственного интеллекта на школьную жизнь.
ИИ стремительно становится нормой: 85% учителей и 86% учеников уже им пользуются, причём чаще - в личных целях, а не для учёбы. Почти половина школ (46%) официально разрешают использование ИИ-инструментов.
Подростки активно взаимодействуют с чатботами - 56% делают это еженедельно, а 31% используют для этого школьные аккаунты и устройства. При этом в классах, где ИИ используется чаще, ученики чувствуют меньшую связь с преподавателями и чаще обращаются за помощью к алгоритмам.
Отчёт фиксирует и проблемы: утечки данных происходят в 23% школ, системы мониторинга следят за учениками даже вне школы и на личных устройствах, но доверие к ним низкое. Лишь 21% учебных заведений имеют протоколы для случаев deepfake или утечки интимных изображений.
cdt
Claude Skills - это настраиваемые папки с инструкциями, скриптами и ресурсами, которые модель автоматически загружает для выполнения конкретных задач. Теперь Claude может самостоятельно создавать таблицы Excel с формулами, презентации PowerPoint, документы Word и заполняемые PDF-файлы.
Функция доступна пользователям тарифов Pro, Max, Team и Enterprise, которые могут создавать, изменять и делиться своими Skill-папками в приложениях Claude, Claude Code и через API. Это позволяет адаптировать модель под нужды компании или конкретной команды.
Anthropic также запустила интеграцию с Microsoft 365 через MCP-коннектор. Благодаря этому Claude теперь умеет искать документы в SharePoint и OneDrive, анализировать переписки в Outlook, находить инсайты в чатах Teams и выполнять поиск по всем корпоративным приложениям сразу.
anthropic
Сегодня нет единого понимания, что именно считать AGI. OpenAI уже несколько раз меняла своё определение и теперь использует 5-уровневую шкалу развития, а Google DeepMind применяет собственные критерии. Из-за этого прогнозы появления AGI сильно различаются.
Авторы нового исследования считают, что унифицированное определение необходимо, чтобы чётко фиксировать прогресс и прекратить использовать термин «AGI» как маркетинговый слоган.
Исследователь koltregaskes предложил следующее определение:
AGI - это искусственный интеллект, который демонстрирует способности на уровне или выше среднего человека в десяти когнитивных областях из модели Кэттелла–Хорна–Кэрролла (CHC), описывающей структуру человеческого интеллекта.
В работе также сравниваются подходы OpenAI и Google DeepMind, что делает её первой попыткой сформировать научно измеримое определение AGI, а не абстрактное маркетинговое обещание.
X
Исследователи из Huawei CSL разработали технику Sinkhorn-Normalized Quantization (SINQ) — быстрый и точный метод уменьшения размера моделей без предварительной калибровки и потери качества.
Главная идея - применять двойное масштабирование весов по строкам и колонкам, что помогает равномерно распределить ошибку квантования и сохранять стабильность модели даже при понижении разрядности до 4 бит.
Метод показал впечатляющие результаты:
- квантование модели Qwen3-14B занимает всего 21 секунду,
- для DeepSeekV2.5-236B — около 5 минут на одной GPU.
SINQ не требует повторного обучения и работает с любыми архитектурами - это делает его удобным решением для разработчиков, которые хотят запускать крупные модели на слабом железе.
github
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥50❤28👍13😁5💘3😢2
25% рабочего времени специалистов кибербеза научились экономить в Авито.
Технологическая платформа внедрила в работу отдела кибербезопасности собственную языковую модель A-Vibe. Совместно с их же разработкой, сканером DeepSecrets, который можно найти на GitHub, модель эффективно анализирует потенциально чувствительные данные и находит 99 из 100 уязвимостей. Для этого LLM заранее обучили на тысячах примерах уязвимостей.
Команда исключила человеческий фактор и ускорила проверку кода в 5 раз. Если раньше бэклог из 50 000 угроз один специалист мог анализировать полгода, то сейчас машина справляется с этим объемом за рабочий день (6–8 часов). Это экономит около 25% рабочего времени, которое специалисты по кибербезопасности теперь могут направить на решение сложных задач.
Компания планирует внедрить ИИ в оценку рисков и моделирование угроз, также рассматривают применение возможностей нейросетей в безопасности на всех этапах разработки. Что логично: по данным IBM, компании, использующие ИИ, на 100 дней быстрее узнают об утечках данных.
Подпишитесь на полезные каналы Авито
Технологическая платформа внедрила в работу отдела кибербезопасности собственную языковую модель A-Vibe. Совместно с их же разработкой, сканером DeepSecrets, который можно найти на GitHub, модель эффективно анализирует потенциально чувствительные данные и находит 99 из 100 уязвимостей. Для этого LLM заранее обучили на тысячах примерах уязвимостей.
Команда исключила человеческий фактор и ускорила проверку кода в 5 раз. Если раньше бэклог из 50 000 угроз один специалист мог анализировать полгода, то сейчас машина справляется с этим объемом за рабочий день (6–8 часов). Это экономит около 25% рабочего времени, которое специалисты по кибербезопасности теперь могут направить на решение сложных задач.
Компания планирует внедрить ИИ в оценку рисков и моделирование угроз, также рассматривают применение возможностей нейросетей в безопасности на всех этапах разработки. Что логично: по данным IBM, компании, использующие ИИ, на 100 дней быстрее узнают об утечках данных.
Подпишитесь на полезные каналы Авито
🔥21❤14👍10👏3🤣3
Модель обучена на разнообразных мультимодальных данных и может объединять разные типы входных сигналов в общее векторное представление.
- Поддержка всех типов данных: текст, изображение, аудио, видео.
- Основана на архитектуре Qwen Omni (Thinker-модуль, без генерации текста).
- Контекст - до 32 768 токенов, размер embedding — 2048.
- Оптимизирована под GPU, поддерживает FlashAttention 2.
Это делает её идеальной для:
- кросс-модального поиска (поиск текста по видео или изображению);
- улучшения RAG-проектов;
- систем мультимодального понимания контента.
Просто, быстро и эффективно - всё в одном открытом решении.
🌐 Открытая модель: https://huggingface.co/nvidia/omni-embed-nemotron-3b
@ai_machinelearning_big_data
#crossmodal #retrieval #openAI #NVIDIA #OmniEmbed #multimodal #AIModels #OpenSource #Search #UnifiedEmbedding
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍71🔥38❤13🥰5💘2
В новом интервью Андрей Карпаты рассказал, почему современные языковые модели не учатся как люди - и почему нас ждёт медленная, но неизбежная потеря контроля.
Он считает, что обучение с подкреплением и это тупиковый путь: модели не думают, а просто копируют и повторяют.
«Reinforcement learning ужасен. Просто всё, что было до него, ещё хуже.»
Андрей отмечает, что люди учатся, создавая собственные данные - размышляя, связывая новое со старым, делая выводы. LLM этого не умеют, они просто запоминают.
Главное, по его словам, впереди - не сингулярность, а тихое делегирование мышления алгоритмам.
«ИИ лишит человечество возможности принимать решения. Мы перестанем думать и выбирать сами.»
Карпаты считает, что нынешние агенты — «полное г…», а настоящего AGI стоит ждать не раньше чем через 10 лет.
Он боится не бунта машин, а того, что люди незаметно перестанут быть разумными - просто передав все решения системам, которые “знают лучше”.
Полное интервью
Исследователи из Epoch AI проверили, насколько современные модели действительно умеют «думать» в математике.
Они использовали тест FrontierMath - 290 задач, которые требуют не запоминания формул, а настоящего рассуждения и способности к обобщению.
Результаты оказались отрезвляющими.
Даже GPT-5, одна из самых мощных моделей на сегодня, смогла решить только 29 % задач в одном прогоне.
После 32 запусков (чтобы компенсировать случайность) показатель вырос до 46 %, но затем перестал расти.
Даже если объединить результаты десятков моделей - от ChatGPT Agent и Gemini 2.5 Deep Think до o4-mini, совокупная решаемость достигает лишь 57 %.
По оценкам авторов, даже при бесконечных попытках предел будет меньше 70 %.
Итог: несмотря на огромный прогресс, современные LLM остаются далеки от настоящего "AGI" - они всё ещё плохо справляются с глубинным рассуждением и гибким решением задач, где нужно не память, а мышление.
Исследователи сообщили о тревожном эффекте - у больших языковых моделей (LLM) может развиваться “Brain Rot”, то есть постепенное «когнитивное разложение».
Причина - постоянное дообучение на низкокачественных и “вирусных” текстах из интернета, что приводит к стойкому снижению способностей к рассуждению, работе с длинным контекстом и безопасному поведению.
Главный симптом - “отсутствие мышления” (thought-skipping): модель перестаёт рассуждать шаг за шагом и начинает выдавать поверхностные ответы, а в некоторых случаях даже приобретает “тёмные” черты личности - нарциссизм, агрессию и низкую склонность к сотрудничеству.
Даже сильные методы коррекции, лишь частично устраняют последствия, что делает отбор обучающих данных ключевым фактором безопасности при развитии ИИ.
openreview
Это компактная языковая модель (~1 млрд параметров) и несмотря на размер, она превосходит Gemma 3 1B и Llama 3.2 1B в задачах рассуждения, знаний и работы с длинным контекстом - до 128 000 токенов.
Внутри гибридное внимание (локальное + глобальное в соотношении 3:1, окно 512) это низкую задержку и экономию KV-памяти.
Подробнее
Инструмент, в который встроено более 100 опенсорсных моделей от ведущих разработчиков.
Внутри: модели от OpenAI, Qwen, Google, Nvidia, DeepSeek и десятков других. Система сама выбирает оптимальную модель под конкретный запрос.
Попробовать
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍116❤49💯11🔥7😁5🥱4💘2🤬1
Forwarded from Golang
This media is not supported in your browser
VIEW IN TELEGRAM
Stack Overflow все еще жив💥
Stack Overflow AI - инструмент, где можно задавать вопросы по коду и сразу получать чёткие, развернутые ответы с объяснениями.
Модель обучена на реальных вопросах и задачах разработчиков, накопленных Stack Overflow за годы существования сервиса.
Попробовать можно здесь.
@Golang_google
Stack Overflow AI - инструмент, где можно задавать вопросы по коду и сразу получать чёткие, развернутые ответы с объяснениями.
Модель обучена на реальных вопросах и задачах разработчиков, накопленных Stack Overflow за годы существования сервиса.
Попробовать можно здесь.
@Golang_google
❤106🎉74👍58😁29🔥20🤩7👏5🤣4💘3❤🔥2
Ошеломляющий контраст: одна NVIDIA ($4.6 трлн) сейчас стоит дороже, чем все банки США и Канады вместе ($4.2 трлн) 🫧
@ai_machinelearning_big_data
#nvidia
@ai_machinelearning_big_data
#nvidia
Please open Telegram to view this post
VIEW IN TELEGRAM
2🔥150😁57🤔31😨21❤11👏10🎉7🤩7🥱6👍4❤🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
Один One Day Offer вам или целых три — всем? 😉
25 октября Сбер проведёт сразу три экспресс-отбора кандидатов в две команды: GigaData и Kandinsky. Чем вам предстоит заниматься 👇
✔️ Развивать GigaData — внутреннюю платформу Сбера, которая обрабатывает петабайты данных и миллиарды запросов в сутки. One Day Offer для Python‑разработчиков.
✔️ Работать над Kandinsky — обучать большие модели с нуля, собирать и подготавливать данные, исследовать самые эффективные методы дообучения моделей.
— One Day Offer для Machine Learning Engineers с опытом в Deep Learning и компьютерном зрении (CV).
— One Day Offer для Research и Deep Learning Engineers.
Выбирайте то, что больше подходит под ваши навыки, и регистрируйтесь на One Day Offer!
25 октября Сбер проведёт сразу три экспресс-отбора кандидатов в две команды: GigaData и Kandinsky. Чем вам предстоит заниматься 👇
✔️ Развивать GigaData — внутреннюю платформу Сбера, которая обрабатывает петабайты данных и миллиарды запросов в сутки. One Day Offer для Python‑разработчиков.
✔️ Работать над Kandinsky — обучать большие модели с нуля, собирать и подготавливать данные, исследовать самые эффективные методы дообучения моделей.
— One Day Offer для Machine Learning Engineers с опытом в Deep Learning и компьютерном зрении (CV).
— One Day Offer для Research и Deep Learning Engineers.
Выбирайте то, что больше подходит под ваши навыки, и регистрируйтесь на One Day Offer!
💯54👍25🎉14❤11👏7🤩6🗿4🔥2😁2🤣1
📄 DeepSeek-OCR - модель для распознавания текста 🔍
DeepSeek выпустили мощную OCR-модель, способную преобразовывать изображения документов прямо в Markdown или текст.
Что умеет:
- Распознаёт текст на изображениях и в PDF
- Работает с документами, таблицами и сложными макетами
- Поддерживает разные режимы: Tiny, Small, Base, Large
- Оптимизирована под GPU (PyTorch + CUDA 11.8)
- MIT-лицензия — можно свободно использовать и модифицировать
DeepSeek-OCR достигает высокой точности и эффективности за счёт компрессии визуальных токенов. На Omnidocbench - лучшая точность при минимуме визуальных токенов, превосходит другие OCR-модели по эффективности и скорости.
🟠 HF: https://huggingface.co/deepseek-ai/DeepSeek-OCR
🟠 Github: https://github.com/deepseek-ai/DeepSeek-OCR
🟠 Paper: https://github.com/deepseek-ai/DeepSeek-OCR/blob/main/DeepSeek_OCR_paper.pdf
@ai_machinelearning_big_data
#ocr #DeepSeek
DeepSeek выпустили мощную OCR-модель, способную преобразовывать изображения документов прямо в Markdown или текст.
Что умеет:
- Распознаёт текст на изображениях и в PDF
- Работает с документами, таблицами и сложными макетами
- Поддерживает разные режимы: Tiny, Small, Base, Large
- Оптимизирована под GPU (PyTorch + CUDA 11.8)
- MIT-лицензия — можно свободно использовать и модифицировать
DeepSeek-OCR достигает высокой точности и эффективности за счёт компрессии визуальных токенов. На Omnidocbench - лучшая точность при минимуме визуальных токенов, превосходит другие OCR-модели по эффективности и скорости.
@ai_machinelearning_big_data
#ocr #DeepSeek
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍171❤48🔥43👏18🤩9🥰6💯4😁2🤗1
И еще 15+ популярных open source LLM можно сейчас забрать бесплатно.
До 31 октября Cloud․ru раздает бесплатный доступ к текстовым моделям, эмбеддерам и реранкерам в сервисе Evolution Foundation Models.
Модели уже готовы к использованию — вам не нужно разворачивать инференс и писать код. Достаточно подключить через API, совместимый с OpenAI.
Тестим тут
Please open Telegram to view this post
VIEW IN TELEGRAM
🎉32👍19😁18👏7❤6🥱6🤩3💅1🦄1
📊 GenAI Traffic - статистика по ИИ трафику.
Свежие данные показывают, как меняется расстановка сил среди генеративных ИИ:
- ChatGPT продолжает терять долю рынка.
- Perplexity впервые перешагнул порог 2%.
🗓️ Год назад:
ChatGPT — 87.1%
Gemini — 6.4%
Perplexity — 1.7%
Claude — 1.7%
Copilot — 1.1%
🗓️ 6 месяцев назад:
ChatGPT — 78.8%
DeepSeek — 6.8%
Gemini — 5.5%
Grok — 3.1%
Perplexity — 1.5%
Claude — 1.3%
Copilot — 1.3%
🗓️ 3 месяца назад:
ChatGPT — 78.3%
Gemini — 8.7%
DeepSeek — 4.5%
Grok — 2.6%
Perplexity — 1.6%
Claude — 1.5%
Copilot — 1.2%
🗓️ Месяц назад:
ChatGPT — 76.4%
Gemini — 10.8%
DeepSeek — 4.0%
Grok — 2.2%
Perplexity — 2.0%
Claude — 1.9%
Copilot — 1.2%
🗓️ Сегодня:
ChatGPT — 74.1%
Gemini — 12.9%
DeepSeek — 3.7%
Perplexity — 2.4%
Grok — 2.0%
Claude — 2.0%
Copilot — 1.2%
📈 Тенденция очевидна:
ChatGPT теряет медленно, но верно трафик, рынок становится более сбалансированным, а Gemini и Perplexity показывают стабильный рост интереса пользователей. С выходом Gemini 3.0 рост, Google может ещё больше улучшить свои позиции.
@ai_machinelearning_big_data
#AI #GenAI #Analytics #ChatGPT #Gemini #Perplexity #Claude #DeepSeek #Copilot
Свежие данные показывают, как меняется расстановка сил среди генеративных ИИ:
- ChatGPT продолжает терять долю рынка.
- Perplexity впервые перешагнул порог 2%.
🗓️ Год назад:
ChatGPT — 87.1%
Gemini — 6.4%
Perplexity — 1.7%
Claude — 1.7%
Copilot — 1.1%
🗓️ 6 месяцев назад:
ChatGPT — 78.8%
DeepSeek — 6.8%
Gemini — 5.5%
Grok — 3.1%
Perplexity — 1.5%
Claude — 1.3%
Copilot — 1.3%
🗓️ 3 месяца назад:
ChatGPT — 78.3%
Gemini — 8.7%
DeepSeek — 4.5%
Grok — 2.6%
Perplexity — 1.6%
Claude — 1.5%
Copilot — 1.2%
🗓️ Месяц назад:
ChatGPT — 76.4%
Gemini — 10.8%
DeepSeek — 4.0%
Grok — 2.2%
Perplexity — 2.0%
Claude — 1.9%
Copilot — 1.2%
🗓️ Сегодня:
ChatGPT — 74.1%
Gemini — 12.9%
DeepSeek — 3.7%
Perplexity — 2.4%
Grok — 2.0%
Claude — 2.0%
Copilot — 1.2%
📈 Тенденция очевидна:
ChatGPT теряет медленно, но верно трафик, рынок становится более сбалансированным, а Gemini и Perplexity показывают стабильный рост интереса пользователей. С выходом Gemini 3.0 рост, Google может ещё больше улучшить свои позиции.
@ai_machinelearning_big_data
#AI #GenAI #Analytics #ChatGPT #Gemini #Perplexity #Claude #DeepSeek #Copilot
👍70🤔50🔥13❤12👏11🤩10💯6🤗2
This media is not supported in your browser
VIEW IN TELEGRAM
Любопытны пост, где автор объяснил на примере очень простую и очевидную, но мощную идею.
Он заметил, что то, что мы называем диффузией текста, на самом деле - это просто обобщённая версия классического обучения BERT.
Как работает BERT?
В BERT модель берёт текст и маскирует часть слов, а потом учится угадывать, какие слова были скрыты.
В диффузии происходит почти то же самое, только шагов больше: на каждом шаге модель немного «портит» текст (добавляет шум), а затем восстанавливает его, всё меньше и меньше теряя смысл, пока не соберёт финальный чистый текст.
То есть BERT делает один шаг очистки - угадывает замаскированные слова.
А диффузионная модель делает много таких шагов подряд, постепенно превращая случайный набор токенов в осмысленный текст.
Барри дообучил RoBERTa, чтобы показать это на практике - и получил настоящий текстовый диффузионный генератор.
В примере:
- Используется RoBER (улучшенная версия модели BERT,) и датасет WikiText.
- На каждом шаге часть токенов заменяется на
<MASK>
, модель восстанавливает их, потом снова маскирует — и так несколько раз.
- После нескольких итераций модель способна генерировать связный текст,
даже без автогенеративного декодера (как у GPT).
📈 Результаты
- Модель генерирует осмысленный текст, хотя и не идеально связный.
- Качество улучшалось по мере добавления шагов диффузии.
- По времени генерации RoBERTa Diffusion была немного медленнее, чем GPT-2 (~13 сек против 9 сек), но архитектура осталась полностью encoder-only.
Автор упоминает, что позже наткнулся на работу DiffusionBERT, где идею реализовали глубже и подтвердили результатами.
Главная мысль:
BERT можно считать одноступенчатой версией текстовой диффузии.
Если добавить больше шагов, то vs получаем диффузионный генератор текста.
Если BERT - это один шаг диффузии, то будущее может принадлежать моделям, совмещающим "понимание" и "генерацию" текста в одном процессе.
https://nathan.rs/posts/roberta-diffusion/
@ai_machinelearning_big_data
#AI #Diffusion #RoBERTa #BERT #LanguageModel #MLM #Research
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥63❤23👍12🤓11👏10👨💻3