Это вам за то, что молитесь...

Krea Realtime 14B: Real-Time Video Generation

Довольно любопытный маркетинговый ход от Krea (внимание, это опенсорс).

Смотрите что они сделали:
Krea Realtime 14B получен путем дистилляции из Wan 2.1 14B T2V с использованием Self-Forcing, техники преобразования диффузионных моделей в авторегрессионные модели. Преобразование, а не обучение(дорого), поэтому и дистилляция.

Тут главная фишка в том, что в обычных диффузионных моделях, надо ждать, когда "проявится\расшумится" все видео. А в авторегрессии, можно получать каждый кадр (пачку кадров) прям в процессе и начинать их стримить (подобно выводу текста в чат), не дожидаясь окончания всей генерации.
Как следствие: юзеры могут изменять подсказки в процессе генерации, мгновенно менять стиль видео и просматривать первые кадры за 1 секунду.

С реалтаймом они отчаянно читерят:
11 кадров в секунду на 4 шагах и гроцессоре NVIDIA B200(!).
Заявляя что это САМАЯ большая реалтаймовая модель видео в мире.

Уже можно попробовать на fal.ai (причем также video2video)

Я попробовал (это Wan 2.1, без иллюзий), щас покажу, а пока смотрите сладкия черрипики от Krea и читайте тех отчет тут:
https://www.krea.ai/blog/krea-realtime-14b

Есть код: https://github.com/krea-ai/realtime-video
Модель тут: https://huggingface.co/krea/krea-realtime-video


@cgevent

Krea Realtime 14B: Real-Time Video Generation

Зашел на FAL.AI нашел эту модель и бахнул на все деньки аж 162 секунды видео (10 сек)

Получил довольно унылое следование промпту (это Wan 2.1 - промптить его, то еще удовольствие) и разрешение 838х480.

И ждать пришлось довольно много, по меркам реалтайма.

В общем без иллюзий - это просто дистиллированный WAN 2.1

Стоимость на фале: $0.025 за секунду second. Video seconds are calculated at 16 frames per second.

@cgevent

Генерация или видео?

Особенно зловеще она улыбается в конце.

Интересно, кто заказчик всего этого киберпанка?

Когда насмотритесь на голову, обратите внимание, как интересно раскрыта тема сисек.

@cgevent

NotebookLM в скором времени будет генерить не только подкасты, но и полноценные презентации со слайдами (сейчас у них как бы видео-презентации).
Тут десятки стартапов взвыли и полегли на дно алого океана.

@cgevent

ИИ-ретоп.

Софт называется Tractive и все что есть от него, это видео и форма приглашения в бету.
Похоже на гибридный подход: как я понял можно редактировать направляющие кривые и получать аптдейт сетки в реальном времени.

https://www.tractive.ai/

Вспомнилось патчевое моделирование лица с помощью NURBS, целая наука была году эдак в 2000...

@cgevent

Новости от Антропика

Сначала лютый оффтоп: слушаю в последнее время антрополога Станислава Дробышевского. Какая-то фантастическая Самобытность. Словечки, обороты, северный говорок, юмор. Понимаю, что мне это нравится именно по форме. Популяризация науки должна быть нескучной. Иногда ржу в голос. Похоже нейродед нашел похожий стиль.

1. Антропики запихали свой терминальный Claude Code в браузер. Подключаете GitHub , пишете что нужно сделать, дальше Claude делает всё сам. Работает в облаке Anthropic. Подробности постом ниже.

2. Anthropic выпустила интеграцию PubMed и Life Science для Claude. Минимум галлюцинаций. Отвечает на вопросы типа:

What is known about the mechanisms of DNA repair including the roles of RAD51 and BRCA1?

Search PubMed to identify key studies that addressed this question. Provide the specific data and experiments that tested this and indicate the PMID for these references

I conducted a microscopy-based screen using Cas9 KOs to identify genes that result in reduced CENPA levels. For the genes below, indicate which genes could act in a process related to CENPA and prioritize hits to pursue

https://www.anthropic.com/news/claude-for-life-sciences

@cgevent

Антропики круты, конечно, именно своими интеграциями.

@cgevent

Anthropic запустила Claude Code on the web – теперь можно делегировать кодинг-задачи прямо из браузера, без терминала.

Это бета в виде research preview: подключаете GitHub репозитории, описываете что нужно, и Claude делает всё сам. Работает в облаке Anthropic.

Что умеет:
- Запускать несколько задач параллельно в разных репозиториях
- Отслеживать прогресс в реальном времени
- Автоматически создавать PR с понятными описаниями изменений
- Отвечать на вопросы про структуру проектов и репозиториев

Где работает лучше всего:
- Багфиксы и рутинные, понятные задачи
- Backend-изменения, где можно использовать тесты для проверки
- Вопросы про архитектуру проекта

Ещё сделали версию для iOS – можно кодить с Claude прямо с телефона. Это early preview, пока собирают фидбек.

Каждая задача запускается в изолированной песочнице с ограничениями по сети и файловой системе. Git-взаимодействия идут через защищённый прокси – Claude видит только авторизованные репозитории.

Можно настроить кастомные сетевые правила, например, разрешить скачивать npm-пакеты для запуска тестов.

Доступно для Pro и Max пользователей на claude.com/code

Лимиты шарятся со всем остальным использованием Claude Code.

Подробности про песочницу: https://www.anthropic.com/engineering/claude-code-sandboxing

Документация: https://docs.claude.com/en/docs/claude-code/claude-code-on-the-web

VISTA: A Test-Time Self-Improving Video Generation Agent от Google

Гугл выпустил (пока только) статью про оптимизацию промптов для видеогенераций.
Как я понял, там сидят агенты и оценивают промежуточные видеогенерации на соответствие промпту, а потом рекурсивно улучшают промпт.

VISTA новая мультиагентная система, которая автономно улучшает генерацию видео путем уточнения запросов в итеративном цикле. VISTA сначала разбивает идею пользователя на структурированный временной план. После генерации лучшее видео определяется с помощью парного турнира(!). Затем это победившее видео оценивается тремя специализированными агентами, которые сосредотачиваются на визуальной, аудио и контекстуальной точности. Наконец, агент-аргументатор синтезирует эту обратную связь, чтобы интроспективно переписать и улучшить подсказку для следующего цикла генерации. Эксперименты по сценариям генерации одно- и многосценных видео показывают, что в то время как предыдущие методы дают непостоянные результаты, VISTA последовательно улучшает качество видео и соответствие намерениям пользователя, достигая до 60% парной победы по сравнению с современными базовыми показателями. Человеческие оценщики согласны с этим, предпочитая результаты VISTA в 66,4% сравнений.

Пока это только бумага на архиве и страница проекта:

https://g-vista.github.io/

где можно по[д]смотреть начальные и улучшенные промпты.

Забавно, что ИИ-агенты решают вопрос о том, что лучше попадает в ваши ожидания, а не вы.

@cgevent

Нейропрожарка

Генерация рекламы от Алексея

Ввязался тут по удали молодецкой в конкурс MyFilm48. Задача - создать ИИшный ролик на заданную тему за 96 часов. Конечно там будут профи, и даже команды. Аргумент странный, у меня есть сгенерённый персонаж Саша Ураган, я его создал для другого проекта, и он как то в душу мне запал этот лихой кучерявый романтик.

Номинация “Подарочная карта парфюмерно-косметической сети”, границы задачи довольно размыты, в сухом остатке, нужно сделать рекламный ролик в минуту, который будет красив и креативен + иметь коммерческий потенциал, в конечном счёте это контент для соц. сетей и экранов в самих магазинах. Всего прислали ~270 работ.

Не смотря на то что тематика конкурса - космос, я почему то пошел в какой то старый европейский городок, где простой народ погружен в праздник в головой, любовь и соседское родство. Где страстный ремесленник не видит препятствия для любви красавицы класса люкс. Любовь не видит границ, так и аромат, запах, способен взбудоражить и бедняка и герцогиню.

СТЕК:

Claude - помог мне с написанием текста песни на французском языке, простого, лаконичного но в то же время поэтичного.

Claude + ChatGPT - помогли мне писать промпты для генерации картинок, музыки для Suno, Нанобананы, анимации. Короче LLMки помогают пышно кучерявить промпты в то же время сохранять однозначность и правильную интерпретацию.

Seedance - Находочка! Он генерит великолепное видео, понимает промпты и физику мира, точен в деталях. Справляется с толпой народу, все глаза и пальцы делал. Тут есть Multiprompt. Даёшь ему картинку (белая карета с белыми конями и кучером) и говоришь что в рамках одной генерации в 10 секунд хочешь увидеть 3 ракурса этой сцены. И Вуаля! И прям реально вуаля, словно камеру переносит, сохраняет внешности и атрибуты и стиль и тп… Теперь можно на съёмку брать всего 1 камеру и знать что потом Seedance поднырнёт и вынырнет из любого плана)

Midjourney - естественно конечно. Да он не знает как выглядит карета, и может лошадей воткнуть назад, но он и не должен это знать) Если в изображение нужно вдохнуть чувства, флюиды, вайб, что то очень тонкое, ментальное, то это только Midjourney. Ну и конечно же сразу генерить видео на безлимите) а ещё и продолжать его несколько раз любым промптом и референсом. Короче если нужно было бы взять на необитаемый остров одну вещь, я взял бы Midjourney. А Карету сгенерил в Imagen 4 и забыл об этом.
Мой актёр Саша Ураган живёт в миджорни и с одного референса прыгает в любую сцену, кроме дальних планов, в которых он становит любым цыганом.

Nanobanana, Seedream 4, REVE - теперь без этого не понимаю как работать, делают всё из всего. Даёшь логотип и просишь чтобы это стало золотым кулоном в руке мастера. Или карта в руке девушки. Или изменить угол съёмки, убрать лишнее, добавить недостающее, изменить эмоцию, одежду, формат, зайти на wieldberries. Фотошоп не умер конечно и вряд ли умрёт ибо сам себе сделал инъекцию Flux и Nanobabana.

SUNO - это песня! Человечество заслужило ещё один шанс и апокалипсис перенесли, потому что человек создал SUNO ) Я очень люблю музыку, до мурашек каждый звук могу прочувствовать. Когда ты даёшь слова песни и промпт а получаешь что то с чем резонирует твоё сердце, это удивительно. Короче Suno пишет музыку и поёт и в ролике продукт версии 4.5+, а на следующий день вышла 5 версия.

Продолжение ниже. Полезное...

Qwen Deep Research лезет на поляну NotebookLM

Теперь он создает не только отчет, но и live web page, которую тут же можно поправить и задеплоить, а также подкаст(!) - под капотом Qwen3-Coder, Qwen-Image и Qwen3-TTS.

Поглядите видео, там все расписано.

https://chat.qwen.ai/?inputFeature=deep_research

@cgevent

Через полтора часа стрим от OpenAI

Некий "новый продукт по словам Самы.

Судя по видео - браузер с блекджеком и агентами.

@cgevent

TLDR презентации:
— скачать браузер и посмотреть на фичи тут: https://chatgpt.com/atlas
— доступно только на MacOS, в будущем добавят Windows и мобильные устройства
— Браузер называется не OpenAI Atlas, а ChatGPT Atlas. Компания явно делает ставку на увеличение узнаваемости бренда Чата.
— браузер доступен всем странам и всем пользователям бесплатно
— Ключевых нововведения, по отношению к обычному браузеру, 3. Первое — чат с вами на любой странице. Есть кнопочка сверху справа, можно нажать — и ChatGPT видит содержимое.
— Второе — память. Это так по умному назвали поиск по истории, если вдруг вы забыли, на каком домене что-то искали, но помните примерное описание контента.
— Третье — Агент. По виду это в точности ChatGPT Agent, который мы видели, но теперь все действия выполняются на вашем экране, а не на удалённой виртуальной машине. Можно выбрать, предоставлять ли доступ к своим учётным записям или нет. Агент доступен только Pro и Plus пользователям
— (ну и главная страница у вас всегда ChatGPT)
— Для агента показанный сценарий такой: вы нашли страницу с рецептом блюда через чат, попросили пересчитать ингридиенты на 8 персон и отправили агента оформлять онлайн-заказ. В этот момент можно переключиться на другую вкладку, пока идёт работа в фоне. Агент вызовет вас, если потребуется подтверждение, например, оплаты заказа.
— если вы нажимаете на ссылку в чате с ChatGPT, то чат красиво съедет вправо, и сессия сохранится. Можно задавать вопросы по странице или перескачить на другую.
— В любом текстовом поле можно выделить текст и появится маленькая точечка. При нажатии откроется маленькое окно, в котором можно дать команду вроде «перепиши но нормально» или «переведи» (команду вводите вы сами, хотя мб в будущем логично добавить 2-3 кнопки сценариев по умолчанию)

В остальном браузер максимально обычный и не предлагает ничего нового пользователям — это сделано намеренно, чтобы людям не пришлось переучиваться. UI/UX выглядит очень приятным по презентации.

Я попробую посидеть на нём несколько дней вместо Arc; вкладки только горизонтальные (от чего я отвык), так ещё и нельзя экспортировать из Arc, только из Chrome и Safari :(