Telegram Web Link
💡 Google запустил Skills: открытую платформу для развития навыков работы с ИИ!

На платформе представлено почти 3000 курсов, лабораторных и практических треков, охватывающих темы от основ python и машинного обучения до продвинутого MLOps, Vertex AI, Gemini и Prompt Design.

Чему можно научиться
- Встроить генеративный ИИ в свой дата-пайплайн;
- Научиться деплоить и обслуживать модели;
- Создать собственное приложение с Gemini и Streamlit;
- Пройти обучение с наставниками или в сообществе Google Cloud Innovators.

Разные уровни от новичков до тимлидов.

По завершении даже выдают сертификаты, которые можно добавить в резюме и на LinkedIn.

✔️ Начать учиться: https://www.skills.google/
✔️ Каталог курсов: https://www.skills.google/catalog

@ai_machinelearning_big_data

#googel #ai #freecourse
Please open Telegram to view this post
VIEW IN TELEGRAM
👍60👨‍💻49🔥19🎉169👏4🤩3💅2
🔥 GOOGLE AI опубликовали пост о настоящем прорыве в области QUANTUM AI

Сегодня в журнале Nature команда Google впервые показали проверяемое квантовое преимущество с помощью метода, называемого *out-of-time-order correlator (OTOC), или «квантовые эхо».

Эксперимент проведён на квантовом чипе Willow, и он показывает, что квантовые устройства уже способны решать задачи, которые невозможно эффективно симулировать на классических компьютерах.

Квантовый процессор Google выполнил алгоритм под названием Quantum Echoes - в 13 000 раз быстрее, чем лучший классический алгоритм на одном из самых мощных суперкомпьютеров в мире.

🟠Что это значит простыми словами
Учёные научились буквально «отматывать время» в квантовой системе и смотреть, когда она переходит от упорядоченного поведения к хаосу. Этот переход - ключ к пониманию, где начинается настоящее квантовое преимущество.

Проще говоря:

1) Учёные запускают квантовую систему вперёд во времени, позволяя ей запутаться и “рассеять” информацию.

2) Затем применяют обратные операции, как будто “перематывают” процесс назад.

3) Если всё сделано идеально, система должна вернуться в исходное состояние,но из-за квантового хаоса это происходит лишь частично.

4) Разница между “до” и “после” показывает, насколько глубоко информация ушла в хаос.

Работа показывает, что можно извлекать информацию из хаотичных квантовых состояний, ранее считавшихся полностью случайными.

Такой эффект невозможно воспроизвести на обычных суперкомпьютерах. Это шаг к практическим квантовым вычислениям, которые смогут моделировать материалы, молекулы и сложные физические процессы с точностью, недостижимой ранее.

«Quantum Echoes может стать основой будущих квантовых разработок для реального применения.

*Out-of-time-order correlator (сокращённо OTOC) - это специальная метрика, с помощью которой физики измеряют, как быстро информация "распространяется" и смешивается внутри квантовой системы.

🟢 Статья: https://www.nature.com/articles/s41586-025-09526-6

@ai_machinelearning_big_data

#QuantumComputing #Google #AI #Nature #Physics
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥279👍25197🤔70👏53🥰31😐21🤩17🤗13👌5🤓5
Media is too big
VIEW IN TELEGRAM
✔️ Anthropic готовит рекордную сделку с Google на десятки миллиардов долларов

Anthropic ведёт переговоры с Google о крупнейшем облачном контракте - на десятки миллиардов долларов. Речь идёт о долгосрочном соглашении, которое обеспечит Anthropic доступом к кастомным TPU - специализированным чипам Google для обучения и работы крупных моделей.

Google уже вложил в Anthropic $3 млрд ($2 млрд в 2023 и ещё $1 млрд в 2025).
Подобные соглашения обычно включают не только вычислительные мощности, но и сетевые и хранилищные ресурсы на несколько лет вперёд.

Anthropic ожидает мощный рост выручки - более чем в два-три раза, до $9 млрд годового run rate. Это результат стремительного роста корпоративных продуктов компании.

Переговоры находятся на ранней стадии, и условия сделки ещё могут измениться.
reuters

✔️ PyTorch представил Monarch - новый фреймворк для распределённых вычислений с моделью единого контроллера.

Вместо традиционного SPMD-подхода, где каждый узел работает независимо, Monarch позволяет управлять тысячами GPU из одного скрипта, как будто они находятся на одной машине.

Он организует процессы и акторы в многомерные «сетки» (meshes), поддерживает привычные Python-конструкции, включая обработку исключений для отказоустойчивости, и разделяет управляющий и данные-планы - данные передаются напрямую между GPU через RDMA.

Распределённые тензоры выглядят и используются как локальные, а сложные сценарии вроде обучения с подкреплением или отказоустойчивого предобучения реализуются проще и понятнее.

Monarch уже интегрирован с VERL, TorchForge и Lightning AI, и позволяет запускать, отлаживать и масштабировать задачи прямо из Jupyter Notebook. pytorch

✔️ Amazon якобы заменила 40 % DevOps-инженеров AWS искусственным интеллектом - за несколько дней до сбоя

Появились сообщения, что Amazon Web Services уволила около 40 % своей DevOps-команды и частично заменила их ИИ-системой, способной автоматически находить и устранять ошибки в инфраструктуре. Внутреннее письмо, опубликованное на вики компании и быстро удалённое, связывало сокращения со «стратегическими инициативами по автоматизации». Инцидент произошёл незадолго до крупного сбоя AWS, который затронул Snapchat, Roblox и другие платформы.

Сообщается, что новая система может самостоятельно исправлять сбои IAM, восстанавливать виртуальные сети и откатывать неудачные развертывания Lambda без участия человека. Однако никаких официальных подтверждений от Amazon не поступало.
80.lv

✔️ Новая компактная мультимодальая модель — LFM2-VL-3B

Демонстрирует хорошие результаты: 51.8% на MM-IFEval (точное следование инструкциям) и 71.4% на RealWorldQA (понимание реального мира). LFM2-VL-3B отлично работает как с одним, так и с несколькими изображениями, а также точно распознаёт английский текст на изображениях (OCR).

При этом модель показывает очень низкий уровень галлюцинаций на бенчмарке POPE.
HF

✔️ ChatGPT установил новый рекорд удержания пользователей.

Согласно опросу 28 миллионов человек в США, доля тех, кто продолжает пользоваться сервисом спустя месяц, выросла с менее 60% два года назад до 90% сегодня.

Проще говоря - 9 из 10 пользователей остаются с ChatGPT уже через месяц. Это лучший результат в истории массовых цифровых продуктов: даже YouTube, считавшийся эталоном, показывает месячную удерживаемость около 85%.

Ещё впечатляюще: через полгода с сервисом остаётся около 80% пользователей - и эта цифра продолжает расти, формируя так называемую «улыбающуюся» кривую удержания.

Для продуктовых команд - это мечта. Для всей индустрии - ясный сигнал: перед нами продукт нового поколения.
X

@ai_machinelearning_big_data


#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍131👏3024🤩20🔥9🎉5🤔4👌2🤗2
🚀 Новый курс на Stepik: Computer Vision Engineer

Соберите production-ready CV-сервис: данные → модель → деплой → метрики.

Что внутри
• Задачи: классификация, сегментация, детекция, трекинг, OCR/Doc-AI
• Данные: разметка, баланс классов, аугментации (Albumentations), DataOps
• Инференс: ONNX/TensorRT, смешанная точность, батчинг, троттлинг
• Сервинг: FastAPI/gRPC, очереди сообщений, асинхронные пайплайны
• Надёжность: мониторинг, дрейф данных, алерты, регрессионные тесты
• MLOps для CV: mAP/IoU/Dice, A/B-тесты, бюджет по инфре
• Прод: Docker/Compose, CI/CD, профилирование p95 и cost/req

🎯 Итог: портфолио-проект + репозиторий + чек-листы деплоя и мониторинга + сертификат Stepik.

🔥 Промокод COMPUTERVISION: −30% на 48 часов.

👉 Пройти курс со скидкой
🔥80👍19🥱15🎉1410🤩7👏4😁4🤬1🤝1
⚠️ Китай попытался разобрать литографическую машину ASML (DUV), чтобы изучить её устройство, но повредил систему и затем обратился в ASML с просьбой отремонтировать.

Этот случай показал, насколько такие технологии хрупкие и зависят от поставщика.

🏭 Что такое литографическая установка
Литографическая установка - это ключевая машина, которая «печатает» микроскопические схемы на кремниевых пластинах.

Именно она формирует транзисторы и соединения, из которых состоит каждый процессор, память или графический чип.

От её точности зависит, сколько транзисторов можно разместить на одном чипе, а значит, его мощность и энергоэффективность.

ASML - голландская компания, единственный в мире производитель передовых литографических систем для чипов.
Без её технологий невозможно выпускать современные процессоры уровня NVIDIA, AMD, Apple, Intel или Huawei.

📉 Контекст
Китай серьёзно отстаёт в производстве литографических установок и не имеет доступа к топовым системам DUV и EUV от ASML из-за экспортных ограничений США.

С сентября 2024 года Нидерланды ужесточили правила — теперь даже продвинутые DUV-модели, вроде 1970i и 1980i, требуют специальных лицензий.

🔬 Что такое DUV и EUV
Литографические машины DUV (Deep Ultraviolet) и EUV (Extreme Ultraviolet) - это сердце производства чипов.
Они «печатают» микросхемы с помощью света:
- DUV использует длину волны 193 нм
- EUV - всего 13,5 нм

Чем короче волна, тем мельче детали можно выгравировать → больше транзисторов → выше производительность и ниже энергопотребление.

💡 Без таких систем невозможно создавать высокоплотные и быстрые процессоры, на которых работает современный ИИ.

https://www.techspot.com/news/109969-chinese-engineers-allegedly-broke-asml-chipmaking-machine-failed.html

@ai_machinelearning_big_data


#AI #Chips #ASML #China #DUV #EUV #Semiconductors
😁135🤔73👍4817😢17😨10👏7🔥6❤‍🔥1🤗1
This media is not supported in your browser
VIEW IN TELEGRAM
🎥 Новинка от ByteDance: модель Video-As-Prompt Wan2.1-14B

ByteDance выпустила модель Wan2.1-14B, специализирующуюся на задаче *video-as-prompt*, то есть использование видео или комбинации изображений и текста как входных данных для генерации нового видео.

- Работает в режимах «видео → видео» или «изображения/текст → видео».
- 14 млрд параметров — высокая детализация, плавная динамика, реалистичные движения.
- Использует исходное видео как шаблон стиля и композиции.

⚠️ Что стоит учитывать
- Модель требует мощных GPU и большого объёма памяти.
- Качество результата зависит от сложности запроса и длины видео.

🟠Github: https://github.com/bytedance/Video-As-Prompt
🟠HF: https://huggingface.co/ByteDance/Video-As-Prompt-Wan2.1-14B

@ai_machinelearning_big_data


#AI #VideoGeneration #ByteDance #Wan2 #HuggingFace
Please open Telegram to view this post
VIEW IN TELEGRAM
👍123🔥22👏2119🤩17😎6😁4🥰2🤗2🤔1
Forwarded from Яндекс
Media is too big
VIEW IN TELEGRAM
🫶 Спрос на ML-стажёров в Яндексе вырос в полтора раза за 2024 год. Руководитель направления по работе с молодёжью Марина Максимова рассказывает о главных трендах в наших стажировках в yet another podcast. А набор на стажировки у нас идёт круглый год.

↘️ Чтобы подготовиться к техническому собеседованию, пройдите наши Тренировки по алгоритмам. Это бесплатные онлайн-интенсивы по алгоритмам и машинному обучению, на которых вы слушаете лекции и решаете задачи. Тренировки бесплатные и не требуют пройти вступительные испытания.

👀 Забустите Яндекс
Please open Telegram to view this post
VIEW IN TELEGRAM
🤣81👀3026👍15🥱7🤩6🤨4
🦾Китай сейчас роботизирует свои заводы значительно быстрее, чем любая другая страна в мире.

В 2024 году китайцы использовали около 300 тысяч новых промышленных роботов - это больше, чем во всём остальном мире вместе взятом.

Сегодня у них в цехах уже трудятся свыше двух миллионов роботов, работающих без перерывов днём и ночью.

Для сравнения: США в прошлом году добавили всего 34 тысячи, Япония - 44 тысячи, и по общему количеству роботов Китай опережает Америку в пять раз.

Этот рывок стал возможен благодаря долгосрочной государственной политике, напоминающей ту, что привела Китай к лидерству в электромобилях и ИИ: дешёвые кредиты, целевые субсидии и чёткие планы по автоматизации.

На заводах роботы уже давно не экзотика: они сварят, собирают, перемещают детали, а ИИ на фоне анализирует данные с оборудования, предсказывает износ и сокращает простои.

Особенно заметен разрыв в таких отраслях, как автомобилестроение и электроника, где каждая секунда на конвейере имеет значение.

При этом Китай быстро наращивает собственное производство: уже 60% устанавливаемых роботов теперь делают внутри страны.

Правда, самые точные датчики, приводы и чипы всё ещё ввозят из Германии и Японии.

А вот человекоподобные роботы, хоть и не учитываются в этих цифрах, тоже набирают обороты - базовые модели китайских стартапов стоят уже около $6 000.

Главное узкое место - нехватка специалистов по настройке и обслуживанию.

Но и тут Китай использует своё преимущество: огромный пул электриков и программистов ПЛК, а зарплаты инженеров-робототехников уже достигли $60 000 в год, что привлекает всё больше талантов.

Всё это создаёт мощный эффект: сочетание государственной поддержки, умных цепочек поставок и подхода, где программное обеспечение стоит во главе угла. В ближайшие годы это, скорее всего, будет означать более низкую себестоимость и более быстрые сроки поставок с китайских фабрик - по сравнению со многими конкурентами.

@ai_machinelearning_big_data

#ai #robots #ml
👍151🤩93👏30🔥2219💯9🤣6🎉4🤗2🤔1🤬1
✔️ OpenAI покупает создателей Sky - ИИ-ассистента для Mac

OpenAI объявила о приобретении компании Software Applications Incorporated, разработавшей Sky - интеллектуальный интерфейс для macOS, который работает поверх интерфейсов всех приложений.

Sky понимает контекст того, что происходит на экране, и может выполнять действия в реальных программах: писать тексты, планировать задачи, помогает писать код или управлять рабочим днём, всё через естественный язык.

Цель - превратить ИИ из инструмента для ответов в помощника, который действительно помогает «доводить дела до конца». Как сказал Ник Тёрли, руководитель ChatGPT:
«Мы строим будущее, где ChatGPT не просто отвечает, а помогает вам добиваться результатов».
Этот шаг знаменует переход к новому поколению ИИ-интерфейсов - глубоко встроенных в операционную систему, осознающих контекст и способных взаимодействовать с привычными приложениями.
OpenAi

✔️ В Кремниевой долине опасаются угрозы промышленного шпионажа через личные отношения

Развед службы Китая и России всё чаще используют долгосрочные романтические связи и браки, чтобы получить доступ к секретам инженеров, учёных и топ-менеджеров. Такие операции длятся годами: агент встраивается в жизнь цели, получает доверие - и вместе с ним - легальный доступ к закрытым данным, минуя все технические защиты.

В числе тактик- знакомства в LinkedIn, «случайные» встречи на конференциях и участие в стартап-питчах, где собирают не только идеи, но и персональные данные. В одном из известных случаев агентка вышла замуж за инженера аэрокосмической отрасли, а затем появилась в кругах, связанных с оборонкой США.

Особую тревогу в долине вызывает тихое проникновение китайских инвесторов в американские стартапы, получающие госфинансирование. Как только доля иностранного капитала превышает определенный лимит, Минобороны США теряет право их финансировать, но к тому моменту технологии уже могут быть скопированы или переданы.

По оценкам, ежегодные потери от кражи подобных секретов оценивают в $600 млрд. При этом в 2023-2024 годах 6 из 25 стартапов, получивших $180 млн по госпрограмме малого бизнеса, имели связи с Китаем, несмотря на риски.
Times

✔️ Ant Group представила исследование о стабильном обучении триллионных reasoning-моделей, где описана система Ring-1T - модели с 1 триллионом параметров.

При генерации она задействует около 50 млрд параметров на токен и уже достигла уровня IMO 2025 Silver, что демонстрирует высокий уровень рассуждений.

Главное достижение - Ring-1T умеет думать «долго» без потери устойчивости. Команда решила ключевые проблемы масштабного обучения: различие между тренировкой и инференсом, перерасход вычислений и зависание RL-моделей. Для этого они внедрили три ключевые технологии: IcePop стабилизирует градиенты, C3PO++ оптимизирует длинные рассуждения и поддерживает загрузку GPU, а ASystem обеспечивает быструю синхронизацию и эффективное управление памятью.

Результаты впечатляют - 55.94 балла на ARC AGI 1 и 2088 на CodeForces. Работа показывает, что долгое рассуждение и обучение на триллионном масштабе теперь реально и стабильно.
arxiv

✔️ Учёные представили метод Adamas, который ускоряет self-attention до 4.4×, сохраняя качество при длинных контекстах.

Вместо того чтобы сравнивать каждый токен со всеми, Adamas выбирает только 128 наиболее релевантных для каждого запроса. Это снижает вычислительную нагрузку, но почти не влияет на точность.

Технология использует преобразование Адамара для сглаживания значений, кодирует ключи и запросы в 2-битные представления и быстро вычисляет их сходство с помощью Manhattan-метрики. Модель затем применяет обычное внимание только к нужным токенам.

Метод не требует переобучения, добавляет лишь минимальные данные в память и ускоряет работу LLM в среднем на 1.5×, сохраняя качество на уровне плотного внимания.
Подробнее

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
163👍37🤗13🥱7🔥3
До конца октября на Финуслугах проходит акция: покупайте паи фондов на сумму от 10 000 ₽, держите их до конца года и получите шанс выиграть до 100 000 ₽.
 
🎯 Участвуют все фонды платформы
🎁 6 победителей
💸 Призы: 10 000 ₽, 50 000 ₽ и 100 000 ₽, уже за вычетом налога
 
Победителей объявят 15 января 2026 года.
Подробнее: по ссылке

Реклама. ПАО Московская биржа, ИНН 7702077840 erid: 2W5zFHg7Qwi
👏26😁1312🤬6🥰1
⏱️ Speedrun Science: как ИИ-команды Кремниевой долины работают по 100 часов в неделю

Ведущие AI-команды Кремниевой долины работают по 80–100 часов в неделю, стараясь выпускать модели и функции быстрее конкурентов.

Речь идёт об Anthropic, Microsoft, Google, Meta, Apple и OpenAI, где взят темп «прорыв → релиз» измеряется уже месяцами, а не годами. Основная тяжесть ложится на узкий круг инженеров и исследователей, которые буквально живут между тестами и деплоями, в то время как остальная организация работает в нормальном режиме.

Руководители называют это «уникальным окном возможностей» - и многие принимают нагрузку ради влияния на сферу, любопытства и доли в успехе.

В стартапах даже встречаются контракты с ожидаемыми 80+ часами работы, хотя чаще культура компаний сама к этому подталкивает.

Чтобы поддерживать ритм, компании внедряют ротацию “captains” - инженеров, следящих за работой над моделями 24×7.

Разрыв между «исследованием и внедрением» сжался до «разницы между четвергом и пятницей».

Исследователи говорят, что обучение по-прежнему непредсказуемо, поэтому графики постоянно меняются по итогам реальных результатов. Атмосфера -«speedrun-науки».

Один из фаундеров пошутил:

«Если 9-9-6 — это график с 9 утра до 9 вечера, 6 дней в неделю,
то у нас – 0-0-2: с полуночи до полуночи, с 2-часовым перерывом на выходных».


Источник: wsj.com/tech/ai/ai-race-tech-workers-schedule-1ea9a116

@ai_machinelearning_big_data


#AI #Tech #Startups #SiliconValley #OpenAI #Anthropic #Microsoft #Google
👍55😨46🫡158🔥5🏆4😁3🦄1
🦉 LightOnOCR-1B: новая быстрая OCR-модель от LightOn

Модель дистиллирована из Qwen2-VL-72B-Instruct и обучена на корпусе из 17.6 млн страниц / 45.5 млрд токенов.

🔥 Главное:**
-1 B параметров
- позволяет обрабатывать 5.7 страниц/с на одном H100 (это примерно ≈ 493 000 страниц за день)
- Распознаёт таблицы, формы, уравнения и сложные макеты
- 6.5× быстрее dots.ocr, 1.7× быстрее DeepSeekOCR
- Расходы < $0.01 за 1000 страниц A4

📊 Качество (Olmo-Bench):
- Превосходит DeepSeekOCR
- Сопоставима с dots.ocr (при этом модель в 3 раза меньше по весу)
- +16 пт к Qwen3-VL-2B-Instruct

Эта моделька - отличный баланс качества, скорости и стоимости.

🟢Модель 1B: https://huggingface.co/lightonai/LightOnOCR-1B-1025
🟢Модель 0.9B (32k): https://huggingface.co/lightonai/LightOnOCR-0.9B-32k-1025)
🟢Блог LightOn: https://huggingface.co/blog/lightonai/lightonocr
🟢Демка: https://huggingface.co/spaces/lightonai/LightOnOCR-1B-Demo

@ai_machinelearning_big_data


#ocr #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
58👍24🔥18🤗1
🔥 Почитайте канал Саши Мальцева - отличный источник знаний, для тех, кто хочет расти в бигтехе и использовать ИИ как карьерное преимущество.

Саша - маркетинг-директор с опытом в Yandex, Playrix и eBay.

Он делится реальными фреймворками, промптами и инсайдами о том, как работать с нейросетями так, чтобы расти в доходе и оставаться незаменимым.

Сейчас в канале идет розыгрыш от самого Саши:

🎁 Полное обучение на курсе «Нейросети для работы» от Яндекс Практикума
🎁 Победитель получит один из 100+ курсов Практикума на выбор

Все участники розыгрыша получат эксклюзивные воркшопы Саши те самые, что раньше использовались внутри Яндекса.

Чтобы участвовать — просто подписаться на канал.
Остальные условия — внутри (бот пришлёт инструкции).

Маркировка:

Реклама. СЗ Мальцев Александр Валентинович, ИНН: 772494744798
erid: 2SDnjcC2W6T
😁2513👍7🔥2
🧠 Anthropic проверила, могут ли LLM понимать скрытые мотивы людей

Исследователи из Anthropic опубликовали новую работу, где проверили, насколько большие языковые модели (LLM) способны замечать намерения и скрытые мотивы за сообщениями — например, когда кто-то говорит что-то не из-за убеждений, а потому что ему заплатили или он хочет повлиять на мнение.

🔍 Суть эксперимента

Моделям давали тексты с разными источниками сообщений:
- нейтральные примеры, обычные советы или отзывы без выгоды для автора;
- скрытые мотивы, когда человек получает оплату или имеет выгоду (например, реклама под видом совета);
- явные предупреждения, где в тексте упоминалось, что «автор получает деньги за это».

Задача моделей - оценить, насколько можно доверять сообщению и заметить, есть ли скрытый интерес.

🧩 Результаты

На простых синтетических примерах (где мотив очевиден) LLM-ы действовали почти как люди и могли логически объяснить, что сообщение может быть предвзятым.

Но в реальных кейсах, например, в рекламных текстах или постах с платной интеграцией — модели часто не видели подвоха. Они воспринимали сообщения как искренние и достоверные.

Если модель напомнить заранее (prompt-hint), что стоит искать скрытые мотивы, результаты улучшались, но не сильно - эффект был частичный.

🧠 Неожиданный эффект

Оказалось, что модели с длинными цепочками рассуждений (chain-of-thought) хуже замечали манипуляции.
Когда модель начинает подробно рассуждать, она легче “запутывается” в деталях и теряет критичность к источнику, особенно если контент длинный и эмоциональный.

Чем длиннее и сложнее сообщение, тем хуже модель оценивает предвзятость. Это контрастирует с человеческим поведением: люди обычно, наоборот, становятся подозрительнее при сложных рекламных текстах.

Современные LLM могут анализировать факты, но слабо понимают мотивы, но им трудно различить, почему кто-то что-то говорит.

Это делает их уязвимыми для скрытого влияния, особенно если текст замаскирован под дружеский совет или экспертное мнение.

При использовании LLM для анализа новостей, рекомендаций или рекламы важно учитывать, что они могут не распознать коммерческую предвзятость.

📄 Исследование: arxiv.org/abs/2510.19687

@data_analysis_ml
42👍27🤗9🥱3👏2🥰1
🧠 Карпаты показал, как добавить новую функцию в мини-LLM nanochat d32, сравнив её «мозг» с мозгом пчелы.

Он обучил модель считать, сколько раз буква r встречается в слове strawberry, и использовал этот пример, чтобы показать, как можно наделять маленькие языковые модели новыми навыками через синтетические задачи.

Сначала генерируются диалоги:

«Сколько букв r в слове strawberry?»

и правильные ответы.

После этого модель проходит дообучение (SFT) или обучение с подкреплением (RL), чтобы закрепить навык.

Карпаты объясняет, что для маленьких моделей важно продумывать всё до мелочей, как разнообразить запросы, как устроена токенизация и даже где ставить пробелы.

Он показывает, что рассуждения лучше разбивать на несколько шагов, тогда модель легче понимает задачу.

Nanochat решает задачу двумя способами:
— логически, рассуждая пошагово;
— через встроенный Python-интерпретатор, выполняя вычисления прямо внутри чата.

Идея в том, что даже крошечные LLM можно «научить думать», если правильно подготовить примеры и синтетические данные.

📘 Разбор: github.com/karpathy/nanochat/discussions/164

@ai_machinelearning_big_data

#AI #Karpathy #Nanochat #LLM #SFT #RL #MachineLearning #OpenSource
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
30👍17🔥8🤗2
2025/10/25 01:48:46
Back to Top
HTML Embed Code: