✔️ Nano‑vLLM — реализация vLLM, написанная с нуля1

Это минималистичный, но быстрый движок для офлайн-инференса LLM. Отлично подойдёт для локальных экспериментов и кастомных решений.

📌 Ключевые фичи:
🚀 Быстрый офлайн-инференс — почти как у vLLM
📖 Простой и читаемый код — всего ~1200 строк на Python
⚡ Оптимизации: prefix caching, Torch compilation, CUDA Graph и др.

📦 Установка:

pip install git+https://github.com/GeeeekExplorer/nano-vllm.git


📌 Быстрый старт:
Примеры использования — в example.py.
API максимально похож на vLLM, за исключением метода LLM.generate.

📊 Бенчмарк (на RTX 4070 + модель Qwen3-0.6B):
• Запросов: 256
• Вход: от 100 до 1024 токенов
• Выход: от 100 до 1024 токенов

Результаты:
| Движок | Время (с) | Скорость (токенов/с) |
|--------------|-----------|----------------------|
| vLLM | 98.95 | 1353.86 |
| **Nano-vLLM**| 101.90 | **1314.65** |

💡 Nano‑vLLM показывает почти ту же производительность, что и оригинал, но с компактным и понятным кодом. Идеален для изучения и локальных LLM-проектов.

📌 Github

🖥 Создание Telegram‑бота‑репетитора на Python для подготовки к сертификациям 🎓

В этом гайде мы создадим Telegram-бота-репетитора на Python, который проводит адаптивные мини-экзамены по темам Python, Data Science, AI и ML.

Бот сохраняет результаты в SQLite и даёт рекомендации по обучению.

Развернём его в облаке immers.cloud — сервисе с GPU-серверами для задач от 3D и гейминга до машинного обучения и генерации контента.

Почему мы выбрали immers.cloud:
- Быстрый старт: нужный сервер поднимается за пару минут.
- Посекундная тарификация — платишь только за время работы сервера
- Большой ассортимент GPU: 11 моделей NVIDIA RTX и Tesla, включая высокопроизводительные модели, H100 (мой фаворит) и A100 с 80 ГБ видеопамяти с поддержкой GPUDirect и NVLink технологий.
- Образы с предустановленным окружением для ML задач, чтобы не тратить время на настройку.
- Поддержка 24/7 и стабильная производительность

🔍 Что делает бот:
- Проводит адаптивные мини‑экзамены по темам: Python, Data Science, AI, ML.
- Подстраивает уровень сложности вопросов под уровень пользователя.
- Сохраняет и анализирует результаты обучения.

🛠️ Технологии и подход:
- Написано на Python с использованием библиотеки для Telegram‑ботов.
- Используется БД для хранения прогресса и статистики.
- Простой архитектурный шаблон: команда → вопрос → ответ → оценка.

🚀 Цели проекта:
- Практическая подготовка к IT‑сертификациям.
- Обратная связь и отслеживание прогресса.
- Возможность добавить новые темы и адаптивную логику.

📌 Кому будет полезен:
- Тем, кто готовится к сертификациям (например, Python, ML).
- Тем, кто хочет автоматизировать обучение через чат.
- Программистам, желающим усилить навыки работы с Telegram‑ботами.

📌 Подробнее

✔️Qwen VLo — новый мультимодальный ИИ от Alibaba, который заточен на понимание и генерацию изображений

📌Как работает:
Модель поэтапно строит изображение слева направо и сверху вниз, уточняя детали на каждом шаге. Это делает итоговую картинку качественной, естественной и согласованной.

Например, можно написать запрос:
«Сделай картинку милого кота» — и она появится.
А можно загрузить фото кота и попросить: «Добавь коту шапку» — и модель отредактирует изображение.

🎯 Что умеет Qwen VLo:
• Точная генерация: не путает объекты, сохраняет структуру, меняет, например, цвет машины на фото без искажений
• Редактирование по команде: «Сделай фото в стиле Ван Гога» или «добавь солнечное небо» — всё выполняется по инструкции
• Глубокое понимание: может обрабатывать сложные задачи — выделение объектов, сегментация, редактирование текста и фона
• Мультиязычность: понимает запросы на английском, китайском и других языках — просто опишите, что нужно

🧪 Сейчас Qwen VLo доступна в виде превью через Qwen Chat.

👉 Попробовать: https://chat.qwen.ai
👉 Детали: https://qwenlm.github.io/blog/qwen-vlo/

@ai_machinelearning_big_data

#Qwen #Alibaba #ai #genai #ml

🖥 Manim — это мощная библиотека на Python для создания анимаций математических и научных концепций!

💡 Она позволяет визуализировать сложные идеи с высокой точностью и гибкостью, используя код для определения сцен, объектов и их взаимодействия. Manim широко используется в образовательных целях и для создания объясняющих видео. Библиотека поддерживает анимацию графиков, формул, геометрических фигур и других визуальных элементов.

🔐 Лицензия: MIT

🖥 Github

@data_analysis_ml

🖥 Когда с первого взгляда ясно — статья огонь.

Иллюстрация различий между: unsupervised learning, supervised fine-tuning и RLHF из тех репорта ERNIE.

@data_analysis_ml


#ERNIE #Baidu

✔️ Alibaba Group представила обновленный Qwen-TTS для английского и китайского языков.

Qwen обновила свой синтезатор речи Qwen-TTS, его обучали на миллионах часов аудиозаписей. Новая версия адаптирует интонацию, ритм и эмоции под контекст текста и приближает звучание к человеческому. Добавили 3 китайских диалекта и поддержку 7 двуязычных голосов (Cherry, Ethan, Jada и др.).

Тесты в SeedTTS-Eval показали высокую точность (WER 1.209) и естественность (SIM 1.967). Модель доступна только через API. В будущем обещают новые языки и стили речи.
qwenlm.github.io

✔️ Исследование: как ИИ-поисковики меняют правила видимости веб-контента.

Совместное исследование ERGO Innovation Lab и ECODYNAMICS показало, что ИИ-системы не просто выдают популярные ссылки, они анализируют структуру, читаемость и ясность контента. Это ставит под сомнение традиционные методы SEO в для традиционных сайтов.

Аналитики изучили 33 тыс. запросов и 600 сайтов из области услуг страхования. Результат: LLM оценивают не только ключевые слова, но и логичность подачи информации, удобство навигации и глубину раскрытия темы.

Специалисты советуют пересмотреть стратегии: упростить тексты, структурировать данные и адаптировать контент под агентные системы. Чем раньше компании пересмотрят свои SEO-стратегии, тем выше вероятность оставаться на виду, когда алгоритмы станут сложнее. Полную версию отчета можно почитать по ссылке.
ergo.com

✔️ OpenAI и компания Марка Цукерберга борются за кадры.

Конкуренция за лучших специалистов в сфере ИИ достигла критической точки. После того как компания Цукерберга переманила 4 ключевых сотрудников OpenAI для работы над «суперинтеллектом», глава исследований Марк Чэн призвал команду Сэма Альтмана оставаться верной компании, пообещав пересмотреть зарплаты и улучшить условия.

По данным источников, Цукерберг предлагает бонусы до $100 млн и лично контактирует с потенциальными кандидатами. Внутри OpenAI сотрудники жалуются на перегрузки, многие работают по 80 часов в неделю. В ответ на агрессивный хэдхантинг, Open AI объявила о «перезагрузке» на неделю, при этом напомнив, что из главная цель - развитие ИИ, а не соревнование с конкурентами.
wired.com

✔️ Microsoft создала ИИ-систему для диагностики, превосходящую врачей.

Microsoft разработала ИИ-инструмент MAI-DxO, который в 4 раза эффективнее опытных врачей в решении сложных диагностических задач. Система использует «оркестратор», создавая сеть из 5 ИИ-агентов, выполняющих роли от генератора гипотез до выбора тестов, которые взаимодействуют и «спорят» для принятия решений.

Тестирование на 304 сложных клинических случаях из NEJM показало точность 85,5% при использовании OpenAI o3 — против 20% у людей без доступа к справочникам или коллегам. Технология может быть интегрирована в Copilot и Bing, которые суммарно обрабатывают около 50 млн. медицинских запросов ежедневно.
ft.com

✔️ Роботы-гуманоиды впервые сыграли в футбол без участия людей.

В минувшую субботу, в Пекине прошел первый в Китае турнир по футболу полностью автономных роботов-гуманоидов. Команда университета Циньхуа победила в финале, обыграв соперников из сельскохозяйственного университета со счетом 5:3. Обе команды использовали одинаковое оборудование от Booster Robotics, но разрабатывали собственные алгоритмы для управления зрением, балансом и движениями.

Матч стал испытанием для технологий: роботы падали, теряли равновесие, а иногда их приходилось уносить на носилках - все это помогает тестировать системы управления и безопасности перед массовым внедрением. Организаторы назвали матч "трейлером" предстоящих Всемирных игр роботов в августе, где будут представлены 11 видов спорта.
bloomberg.com

@ai_machinelearning_big_data

#news #ai #ml

🍏 Apple рассматривает замену Siri на Claude или ChatGPT

Apple активно изучает возможность использования моделей Claude 3 Opus от Anthropic и GPT-4 Turbo от OpenAI для новой версии Siri, отказавшись от собственных LLM. Компания провела тестирование обеих моделей на закрытой облачной инфраструктуре, чтобы сравнить качество генерации, безопасность и способность к сложным диалогам.

Причины перехода:
— Собственная разработка LLM для Siri задерживается до 2026 года из-за проблем с качеством
— Необходимость ускорить вывод на рынок более интеллектуального голосового ассистента
— Усиленная конкуренция с Google Assistant и Microsoft Copilot

Что уже сделано:
— Тестирование Claude 3 Opus и GPT-4 Turbo на Private Cloud Compute Apple
— Смена руководства AI-подразделения: Майк Рокуэлл занял место Джона Джаннандреа
— Отмена запуска “LLM Siri” на WWDC 2025 из-за неготовности модели

📌 Подробнее

@data_analysis_ml