🔥 Google представили Transformers 2.0 — это новая архитектура Titans, которая может стать главным двигателем прогресса LLM в 2025 году.

Краткий пересказ огромного исследования:

• Проблема: трансформеры обрабатывают ограниченный объем контекста, часто забывают его части и отвлекаются на неважные детали.
• Решение: архитектура Titans с тремя типами памяти!
1. Краткосрочная память — для обработки инфы сейчас;
2. Долгосрочная память — для хранения важной инфы из прошлого;
3. Постоянная память — для хранения текущего запроса.
• Titans работает как человеческий мозг — забывает неактуальную инфу, а в долгосрочную память кладёт только самое важное.
• Результат: Titans запоминает контекст длиной больше 2 миллионов токенов! Можно загрузить три полных версии романа «Война и мир» за раз — больше, чем у любых существующих нейронок.

Архитектура, которая проложит путь к AGI — тут.

@notboring_tech

🍋 Google выложил свежий мастрид для всех, кто хочет понять работу ИИ-агентов — 42-страничный учебник по полочкам разложит всю базу, теории и концепции.

Буквально всё, что вам нужно знать:

• ИИ-агенты, компоненты и когнитивные архитектуры.
• Инструменты: расширения, функции и хранилища данных.
• Техники обучения для повышения эффективности ИИ-агентов.
• Создание ИИ-агентов на LangChain и LangGraph.

Сохраняем и читаем в воскресенье — тут.

@notboring_tech

🌟 Вчера DeepSeek выпустил R1 — уже за сутки стало понятно, что это следующий скачок в развитии LLM. Полностью открытая модель работает на уровне O1, но стоит аж в 30 раз дешевле! Лайт-версию можно запустить даже на макбуке.

Одна из лучших фич — генерация красивых анимаций, которые объясняют сложные математические концепты на пальцах. Видос выше был сгенерирован с первой попытки за 30 секунд. Новая эра обучения только что началась!

Репо для создания таких анимаций лежит тут, а сама революционная модель R1 — здесь.

@notboring_tech

⚡️ Революция в лечении депрессии — FDA одобрил первый назальный спрей для быстрого лечения депрессии. Облегчение появляется уже через 24 часа после применения, а через 28 дней у 22% пациентов исчезают все симптомы (по сравнению с 7,6% в группе плацебо).

Кетаминовый препарат испытали 140 тысяч человек по всему миру под наблюдением врачей в больницах. Теперь его будут назначать в США совершеннолетним пациентам, которым не помогли два обычных антидепрессанта — это 33% всех пациентов с депрессией.

Ошеломляющий прорыв!

@notboring_tech

🚀 Китайцы из Alibaba выпустили нового лидера опенсорсных нейронок — Qwen2.5-1M теперь поддерживает один миллион токенов! С помощью нового фреймворка чат-бот работает аж в 3-7 раз быстрее.

Для сравнения, самая дорогая модель ChatGPT держит контекст 200 тысяч токенов, а DeepSeek — лишь 64 тысячи. Также в Qwen Chat добавили веб-поиск, генерацию картинок и видео по запросам! Всё это — бесплатно и на русском.

Пробуем нового короля нейронок тут.

@notboring_tech

🤯 Сегодня китайский DeepSeek обвалил фондовый рынок США на почти полтора триллиона долларов — я потратил весь день, чтобы разобраться, как это удалось маленькой команде и почему битва только началась.

• ИИ-модели внезапно оказались доступными всем, дешевыми и эффективными — DeepSeek сократил расходы в 20 раз и число GPU с 100к до 2к.
• Как им это удалось? Они изобрели новые подходы на основе опенсорсной Llama — да, под капотом лежит американская Meta (запрещенная в РФ).
• Пока капитализация Nvidia упала на 17% за сутки, Meta не только сохранила удивительное спокойствие, но её акции даже выросли.
• Среди бигтеха Meta первая продвигала открытый исходный код и теперь пожинает плоды — без Llama инновационной R1 сейчас бы не было.
• Теперь Meta готовит следующий ход конём и активно заимствует китайские подходы, чтобы не тратить ресурсы на собственные исследования.
• В конечном итоге паника вокруг DeepSeek не означает, что кто-то проигрывает — опенсорс только приводит к общему прогрессу!
• Всем, кому интересны технические внутренности R1 — только что вышла иллюстрированная статья. Сохраняйте — тут.

Никогда в истории не было более крутого времени, чем сейчас.

@notboring_tech

🪿 Основатель Twitter Джек Дорси на волне хайпа опенсорса порадовал кодеров — ИИ-агент Goose автоматизирует всю рутинную разработку и ускоряет долгую работу до двух-трёх минут.

• Goose самостоятельно запускает тесты, пишет скрипты, делает скрины, редактирует файлы, фиксит баги и разрабатывает проекты с нуля.
• Можно интегрировать с GitHub, Google Drive, JetBrains IDE и другими инструментами.
• На выбор доступны почти все популярные LLM — смотрите скрин.
• Легко подключается к любым MCP-серверам и API.
• Разумеется, Goose бесплатно работает локально на вашем компе.

Установить в один клик — тут.

@notboring_tech

💊 Омега-3 продлевает жизнь — ежедневный приём одного грамма добавки замедляет биологическое старение на срок до четырёх месяцев! Сегодня вышли результаты трёхлетнего исследования 777 жителей Швейцарии старше 70 лет.

Максимальный эффект давала комбинация омега-3, витамина D (2000 ME) и физических упражнений три раза в неделю. В комплексе они не только замедляли старение, но и эффективнее всего снижали риск рака и старческой слабости.

Биохакеры записывают лайфхак.

@notboring_tech

🎓 Со-основатель OpenAI Андрей Карпаты выложил новую лекцию по нейронкам впервые за 7 месяцев! Это полное погружение в устройство LLM на 3,5 часа:

• Прентрейнинг: обработка данных, токенизация, архитектура Transformer и реальные примеры.

• Файнтюнинг: психология LLM, галлюцинации, ошибки в орфографии и другие важные аспекты.

• RLHF: как работает обучение с подкреплением в LLM на примере DeepSeek R1.

Последние 10 минут — краткая выжимка всей лекции! Сохраняем и смотрим годноту тут.

@notboring_tech

⚡️ Илон Маск пытается купить OpenAI — главная бомба дня! Маск вместе с инвесторами подал заявку на покупку контрольного пакета OpenAI за безумные 100 миллиардов долларов, чтобы снова получить контроль над разработчиками ChatGPT.

Они ближе всех к достижению AGI, поэтому он хочет направить их в русло открытого кода и отказаться от коммерческих целей. Только что Альтман отказался от оффера и предложил Маску «продать Твиттер за $9 млрд», но решение должен принять совет директоров.

Будущее ChatGPT решается прямо сейчас.

@notboring_tech

🍽️ Еда из пластиковых контейнеров повышает риск сердечной недостаточности — доказали учёные в свежем исследовании. В еде, которую грели в пластиковой посуде, нашли 4,2 млн частиц микропластика на каждый квадратный сантиметр!

Учёные в течение нескольких месяцев давали крысам пить воду, которую вскипятили и налили в пластиковые боксы — это вызвало воспаление в микросреде кишечника, повредило систему кровообращения и привело к проблемам с сердцем.

Переложить еду в стеклянную или керамическую посуду — лучший вариант.

@notboring_tech

🔗 OpenAI выложили новый гайд по промптингу нейронок из серии «о» — они отлично разбираются в стратегии, планировании и принятии решений в отличие от GPT. Но обычный промптинг с ними не работает!

Лучшие рекомендации:

• Пишите проще и прямее: избегайте уловок «думай шаг за шагом».

• Используйте разделители, заголовки, абзацы и теги xml, чтобы сделать текст понятнее.

• Если работаете с анализом файлов, ограничьте количество примеров до минимума: это сбивает с толку модель.

• В уже первом запросе изложите все ограничения и параметры для успешного ответа: «у меня бюджет до 500 долларов, нужен x».

• Если модель ошибается — отвечайте «подумай еще» и поощряйте её продолжать рассуждения.

Полный гайд — тут. Сохраняйте, чтобы не потерять!

@notboring_tech

📚 Вышла самая понятная книга про LLM — вместо того, чтобы сразу объяснять работу Transformers, автор начинает с простых методов, проводит через эволюцию нейронок и заканчивает современными архитектурами.

Это 200 страниц настоящей годноты:

• Сперва — база машинного обучения и математики.
• Эволюция языковых моделей от начала до нынешнего момента.
• Устройство Transformers и LLM.
• Что читать дальше: список лучших ресурсов.
• Каждая глава — теория, иллюстрация + пример рабочего кода на Python, который можно запустить.

Читаем тут, а репо с кодом лежит тут.

@notboring_tech

🔬 Громкая революция в биологии — сегодня нейросеть впервые научилась создавать любые геномы с нуля! В паблик вышла Evo-2 спустя ровно год после релиза первой версии.

• Это самая масштабная нейросеть для биологии, обученная на 9,3 триллионах (!) пар ДНК из 128 тысяч организмов.
• Первая версия работала только с одноклеточной жизнью, а вторая создаёт все виды жизни от молекулярного до геномного масштаба.
• Генерирует геномы человека, бактерии, клетки и даже хромосомы — всё в масштабе 1:1!
• С точностью больше 90% определяет, какая мутация — опасная или доброкачественная.
• Проводит анализы, диагностики и симуляции разных геномов в три раза быстрее, чем раньше.

Evo-2 — ключ к революционным лекарствам и генным терапиям! Код опубликовали для всех желающих тут.

@notboring_tech