Telegram Web Link
Forwarded from Machinelearning
✔️ OpenAI только что опубликовала статью, в которой описан план создания лучшего в мире ИИ-кодера.
В статье исследуется применение обучения с подкреплением (RL) к большим языковым моделям (LLMs) улучшает их способность решать сложные задачи программирования и рассуждений. Авторы сравнивают три модели: общую модель o1, её специализированную версию o1-ioi (адаптированную для соревнований IOI) и более продвинутую модель o3.

Модель o1 значительно превосходит модели без цепочек рассуждений (например, gpt-4o) по показателям на платформе CodeForces.
Специализированная o1-ioi, оптимизированная для соревнований IOI, показывает хорошие результаты с ручными стратегиями, но её успех зависит от дополнительной настройки и тестовых стратегий.
Модель o3, обученная только с RL и без доменно-специфичных стратегий, демонстрирует ещё более высокую производительность, достигая результатов на уровне элитных программистов мира как на CodeForces, так и на IOI.
Применение в реальных задачах:
Масштабирование RL для общего использования, а не применение специализированных ручных стратегий, является эффективным путём достижения передового уровня ИИ в задачах рассуждения и программирования.
Статья

✔️ Google о квантовых вычислениях «Наш последний прорыв: мы смогли выполнить сложные вычисление за 5 минут, на что одному из самых быстрых суперкомпьютеров в мире потребовалось бы более 10 миллиардов лет — это дольше, чем существует наша Вселенная».
Тред

✔️ Илон Маск анонсировал выпуск новой версии Grok 3 от его стартапа xAI. Он заявил, что это будет «самый умный ИИ на земле»
Релиз состоится 18 февраля в 04:00 (GMT+3). Похоже, что Grok-3 выйдет с режимом рассуждений.

✔️ Вслед за «Последним экзаменом человечества» ScaleAI
выпустили новую очень сложную оценку рассуждений LLM:

EnigmaEval: 1184 мультимодальные головоломки, настолько сложные, что на их решение группам людей требуется от многих часов до нескольких дней.
Все топ-модели набрали 0% в Hard set и < 10% в Normal set
Scale

✔️ 4 SOTA модели компьютерного зрения
От оценки позы до обнаружения объектов в реальном времени - свежие, передовые инструменты компьютерного зрения на Hugging Face, которые очень просты в использовании.
- ViTPose для оценки позы
- RT-DETRv2 для обнаружения объектов в реальном времени
- DAB-DETR улучшает оригинальный DETR, решая проблемы медленного обучения
- DepthPro от Apple для оценки глубины на одном изображении, выдавая расстояния на уровне пикселей в метрах менее чем за секунду.

✔️ Computer use ootb
Свежий инструмент, который представляет собой готовое решение для создания десктопного GUI-агента. С его помощью можно отдавать команды и автоматизировать задачи на ПК (Windows и macOS) через веб-интерфейс, доступный с любого устройства с интернетом.
Github

@ai_machinelearning_big_data


#news #ai #ml #openai #grok #grok3 #Microsoft #ScaleAI #elonmusk #cv #sota #opensource
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4👎2🔥1🥰1
🔥 Эта статья представляет новый метод контекстного разбиения (Contextual Partitioning) для крупных языковых моделей!

🌟 Этот подход динамически делит параметры модели на контекстно-осведомленные регионы, позволяя улучшить точность и эффективность за счет адаптации к входным данным. Авторы утверждают, что метод снижает избыточность, ускоряет обучение и улучшает согласованность с контекстом без необходимости внешней донастройки. Эксперименты показывают сокращение использования памяти и времени обучения.

🔗 Ссылка: *клик*

@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
3👍1
Forwarded from Machinelearning
⭐️ Новый Grok‑3 от xAI уже доступен для премиум-пользователей.

Вот главное:
- Вышло два варианта модели: Grok‑3 mini и полноразмерный Grok‑3.

- Беспрецедентные достижения: Первая модель, преодолевшая 1400 очков, и лидирует по всем категориям на арене.

- Режим рассуждений: Хотя базовая модель не «ризонинг», можно активировать режим рассуждений с двумя настройками – «Thinking» и «Thinking Hard». Процесс рассуждения почти полностью прозрачен.

- Выдающаяся производительность: На тестах Math24 hard Grok‑3 показывает результаты лучше, чем R1, o1 и даже o3‑mini high. AIME 24 — 52% [96% с обоснованием!]
GPQA —75% [85%]
Кодинг (LiveCodeBench) — 57% [80%].

- На бенчмарках версия mini сравнима с DeepSeek 3, GPT‑4o и Gemini Pro.

- Новый агент Deep (Re)search: Встроенный инструмент для быстрого интернет-поиска, кросс-валидации источников и корректировки плана, который на демонстрации справился всего за минуту.

https://x.com/i/grok

@ai_machinelearning_big_data


#grok #elonmusk #ai #ml #llm #reasoning #xAI
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3🔥31
🔥 Reflex LLM Examples — это репозиторий, демонстрирующий практические примеры использования больших языковых моделей от таких провайдеров, как Google, Anthropic, OpenAI, а также open-source моделей для локального хостинга!

🌟 Эти примеры построены с использованием фреймворка Reflex, который позволяет разработчикам создавать полнофункциональные веб-приложения исключительно на языке Python, без необходимости в знаниях JavaScript или веб-разработки.

🖥 Github

@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4🔥2
Вот для чего Маску на самом деле нужен Grok3.

@machinelearning_ru
😁15👏2🤯2
⭐️ R1 1776 — это дообученная версия модели DeepSeek‑R1 от Perplexity AI, созданная для устранения цензуры КПК.

Модель обеспечивает объективную, точную и фактологически достоверную информацию, сохраняя высокие аналитические и математические способности. Для проверки «несанированности» её ответов используется многоязычный набор тестовых примеров, охватывающий свыше 1000 чувствительных тем.

https://huggingface.co/perplexity-ai/r1-1776

@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11😁32
📚 В этой статье обсуждается ограниченность современных методов машинного обучения в отношении неопределенности Найта — типов неопределенности, которые невозможно количественно оценить!

🌟 Авторы утверждают, что существующие формализмы ML, такие как обучение с подкреплением, не учитывают неизвестные и непредсказуемые изменения в открытом мире, что снижает их устойчивость к неожиданным ситуациям. В отличие от этого, биологическая эволюция успешно справляется с такими неопределенностями, создавая организмы, способные адаптироваться к новым и непредсказуемым условиям.

🔗 Ссылка: *клик*

@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
😁2👍1
Forwarded from Machinelearning
🌟 InfiniteHiP: расширение контекста LLM до 3 млн. токенов на одном GPU.

InfiniteHiP - опенсорсный инструмент, разработанный сервисом deepauto.ai, который позволяет значительно расширить контекст LLM, обрабатывая до 3 миллионов токенов на одном GPU.

InfiniteHiP использует модульный иерархический алгоритм прунинга токенов, динамически отсеивая нерелевантные элементы контекста. Это позволяет ускорить обработку и обойти ограничения GPU по памяти, перенося KV-кэш в память хоста.

Прунинг-модули алгоритма избирательно отбрасывают менее важные входные токены, опираясь на разреженность шаблонов и пространственную локализацию в матрицах внимания LLM.

Алгоритм делит входную последовательность на чанки фиксированной длины и определяет аппроксимированный top-1 токен с наивысшим attention score в каждом чанке. Затем только top-K наиболее значимых чанков передаются в следующий модуль, а остальные отбрасываются.

Максимально эффективная реализация InfiniteHiP на SGLang фреймворке показывает 7.24-кратное ускорение в end-to-end декодировании на контексте в 3 млн. при использовании всего 3.34% VRAM, необходимой для Flash Attention 2.

InfiniteHiP превосходит существующие методы в задачах QA по объемным документам, обобщении и в мульти-шот ризонинге. HiP демонстрирует отличные OOL (out-of-likelihood) способности, сохраняя производительность при увеличении длины контекста, в то время как другие методы на таких задачах ощутимо деградируют.

InfiniteHiP может использоваться с любыми моделями на архитектуре Transformers.

▶️ Локальная установка и использование:

git clone [email protected]:DeepAuto-AI/hip-attention.git
cd hip-attention

conda create --name hip python=3.11
conda activate hip

pip install -e "."
# Optional for development
pip install -e ".[dev]"

# Optional, depends on your CUDA environment
export CUDACXX=/usr/local/cuda/bin/nvcc
# Dependencies that requires --no-build-isolation
pip install -e ".[no_build_iso]" \
--no-build-isolation \
--verbose
# SGLang with OpenAI API support for serving
pip install -e ".[sglang]" \
--no-build-isolation \
--verbose \
--find-links https://flashinfer.ai/whl/cu124/torch2.4/flashinfer/

# Access the `hip` package from any project
import torch
from hip import hip_attention_12, HiPAttentionArgs12

device = 'cuda'

batch_size = 1
kv_len = 128 * 1024
q_len = 32 * 1024
num_heads = 32
num_kv_heads = 8
head_dims = 128
dtype = torch.bfloat16

q = torch.randn(
(batch_size, q_len, num_heads, head_dims),
dtype=dtype,
device=device
)
k = torch.randn(
(batch_size, kv_len, num_kv_heads, head_dims),
dtype=dtype,
device=device,
)
v = k.clone()

output, metadata = hip_attention_12(q=q, k=k, v=v, args=HiPAttentionArgs12())
print(output.shape)

# > torch.Size([1, 32768, 32, 128])


📌Лицензирование: FSL-1.1-MIT


🟡Arxiv
🟡Demo
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #InfiniteHiP #Framework
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍42
🔥 Это — бесплатный курс по диффузионным моделям и согласованиям потоков для машинного обучения, ориентированный на техническую аудиторию без предварительного опыта в этой области! Авторы стремятся максимально упростить математические детали, сохраняя при этом достаточную точность для вывода корректных алгоритмов.

🔗 Ссылка: *клик*

#курс #machinelearning
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6👍21
Forwarded from Machinelearning
✔️ DeepSeek откроет исходный код 5 проектов на следующей неделе.

DeepSeek запустил мероприятие OpenSourceWeek и на следующей неделе откроет исходный код в пяти репозиториях, чтобы поделиться своими достижениями в исследовании AGI. Начиная с понедельника DeepSeek будет каждый день открывать исходный код нового проекта. Каждый проект был проверен в реальных онлайн-сервисах и имеет полную документацию.
Deepseek в X

✔️ OpenAI разоблачила китайские кампании, использующие ИИ для распространения дезинформации.

OpenAI выявила и пресекла 2 попытки использования своих инструментов искусственного интеллекта в рамках китайских кампаний влияния. Согласно опубликованному отчету OpenAI, одна из кампаний, названная "sponsored discontent", использовала ChatGPT для создания англоязычных комментариев, атакующих китайского диссидента Цай Ся. Часть этих материалов была размещена на платформе X, а статьи появились на различных новостных сайтах Латинской Америки, иногда в качестве спонсируемого контента.

Другая кампания, получившая название "peer review", включала использование ChatGPT для создания маркетинговых материалов инструмента мониторинга социальных сетей, который, по утверждениям создателей, использовался для отправки отчетов о протестах китайским службам безопасности. Найденные аккаунты заблокированы.
openai.com

✔️ Фреймворк S* улучшает генерацию кода.

Исследователи из Калифорнийского университета представили фреймворк S*, который значительно повышает качество и надежность кода, создаваемого языковыми моделями. S* использует одновременно параллельное и последовательное масштабирование, позволяя системе не только генерировать несколько вариантов кода, но и последовательно улучшать их за счет систематической отладки.

Ключевая особенность - использование "адаптивного синтеза входных данных". В процессе тестирования модель GPT-4o mini создает специальные тестовые входные данные, которые помогают выявить различия между разными версиями генерации. Это позволяет анализировать результаты и выбирать наиболее эффективное решение.

Даже небольшие модели, в тестах - Qwen2.5-7B-Coder-Instruct, с использованием S* показывают результаты на 10% лучше, чем более мощные модели без этого фреймворка. В некоторых случаях они даже превосходят GPT-4o mini. Однако, пока S* оптимизирован только для задач программирования в рамках соревнований, и его применение в более сложных инженерных проектах еще не изучено.
arxiv.org

✔️ SigLIP 2: улучшенный мультиязычный VL энкодер от Google.

Google выпустила новое поколение SigLIP 2, которое превосходит предыдущие версии в задачах классификации, поиска изображений и текста, а также в создании визуальных представлений для VLMs. В новой версии энкодера улучшено семантическое понимание, локализации и dense features. Модели семейства теперь лучше справляются с задачами, требующими тонкого анализа изображений и текста.

Ключевая особенность SigLIP 2 - поддержка динамического разрешения (naflex), что полезно для задач, чувствительных к изменению пропорций и разрешения изображений. Новые модели, включая варианты с динамическим разрешением, уже доступны для использования через библиотеку Hugging Face.
huggingface.co

✔️ ElevenLabs поможет миллиону людей вернуть свой голос.

ElevenLabs расширяет свою программу Impact Program, чтобы помочь людям, потерявшим голос из-за тяжелых заболеваний. В прошлом году программа была запущена для пациентов с боковым амиотрофическим склерозом, а теперь ее поддержку смогут получить люди, страдающие от множественной системной атрофии и рака полости рта.

В сотрудничестве с организациями MSA Trust, Mission MSA и Mouth Cancer Foundation, ElevenLabs предоставляет бесплатный доступ к своим инструментам для создания цифровых копий голоса. Пациенты получают пожизненный доступ к этим технологиям, а больные раком полости рта могут подать заявку на бесплатный Pro-план, чтобы сохранить свой голос до потери речи.
ElevenLabs ставит перед собой амбициозную цель — помочь миллиону человек через Impact Program.
elevenlabs.io

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍32🔥1🥰1
🔥 lms — это командная строка (CLI) для управления LM Studio, разработанная с использованием lmstudio.js. Она предоставляет различные команды для взаимодействия с LM Studio, такие как проверка статуса, запуск и остановка локального API-сервера, управление загруженными моделями и создание новых проектов с использованием SDK LM Studio.

🔐 Лицензия: MIT

🖥 Github

@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
4👍2🥰1
Forwarded from Machinelearning
🌟 Генерация изображений байесовскими методами.

Исследователи из Мюнхенского университета предложили методику генерации изображений, основанную на байесовском выводе. Экспериментальная модель, которая получила название Bayesian Sample Inference (BSI), имитирует процесс постепенного уточнения данных: ее инференс начинается с «размытого» представления об изображении и последовательно корректируется с использованием шумовых измерений до финального результата. По заверениям авторов, их метод позволяет точнее воспроизводить распределение данных, чем классические решения на основе диффузии.

BSI-модель стартует с априорного распределения, где начальная точность намеренно задаётся низкой — это эквивалентно «размытой картинке», покрывающей всё множество возможных изображений. На каждом шаге генерации, предиктор, построенный на U-Net или ViT, анализирует текущий промежуточный «результат» и генерирует оценку соответствия относительно "идеального" изображения, который, в свою очередь, участвует в пересчете среднего значения и точности для следующего шага генерации.

Такой подход позволяет BSI-модели балансировать между имеющимися знаниями и новыми данными, избегая переобучения и сохраняя разнообразие генерации. Эксперименты выявили, что BSI сохраняет разнообразие сгенерированных образцов даже при малом числе шагов — это выгодно отличает её от аналогов, склонных к «повторяющимся» генерациям.

BSI напрямую сравнивали с диффузионными VDM- и EDM-моделями и BFNs. Оказалось, что BSI-архитектура не только включает BFNs как частный случай, но и превосходит их в тестах на правдоподобие. Например, на наборах CIFAR10 и ImageNet BSI показала лучшие результаты, достигнув 2.64 (BFNs) и 3.22 (VDM) бит на измерение соответственно, но не смогла превзойти модели с точным расчетом правдоподобия (i-DODE).

Эта новая потенциально методика может стать гейм-чейнджером для генерации изображений.

▶️ Практическая реализация метода доступна в репозитории проекта на Github, где представлены инструменты для инференса, обучения и файнтюнинга.


📌Лицензирование: MIT License.


🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Bayesian #GenAI
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3🔥3
This media is not supported in your browser
VIEW IN TELEGRAM
🌍 Учебное пособие по Leafmap

Из него вы узнаете, как без труда наносить на график десятки тысяч точек с помощью пользовательских стилей, используя всего несколько строк кода!

🎥 Смотреть: https://youtu.be/F3NzZMIhff4
📓 Код: https://leafmap.org/notebooks/104_point_style

#geospatial #leafmap #mapping
👍41🔥1😁1
🖥 LLM Functions — это проект с открытым исходным кодом, предназначенный для упрощения создания инструментов и агентов на основе больших языковых моделей с использованием языков программирования, таких как Bash, JavaScript и Python!

🌟 Он позволяет разработчикам легко интегрировать LLM с пользовательским кодом, что открывает широкие возможности для выполнения системных команд, обработки данных, взаимодействия с API и многого другого.

🔐 Лицензия: MIT

🖥 Github

@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3🥰1
2025/07/10 13:22:44
Back to Top
HTML Embed Code: