ImmerseGen: Agent-Guided Immersive World Generation with Alpha-Textured Proxies

Разработка ByteDance.
Создаёт 3D-миры по текстовым описаниям для виртуальной реальности. Сначала формируется базовая местность, а затем добавляются объекты.

Под капотом агенты, работающие на основе визуальных языковых моделей

Код ждем

#VR #vlm #text2scene #text2world

ComfyUI-SeedVR2_VideoUpscaler

Разводите видеореставратор от ByteDance локально если хвалит VRAM

#videorestoration

Spline Path Control v2

Контроль движения сплайнами без лишнего промпинга.

Полученное движение предлагают использовать как управляющее видео для VACE

Народное творчество, сделано в DeepSeek + Google Gemini, пользуйтесь пока не сломалось и пока автор не разорился

Код
Попробовать онлайн
воркфлоу

#workflow #motioncontrol #image2video

Один день не следил за нейронками, потом заходишь в интернет, а там:

тренд на олимпийские игры животных в Hailuo 2

MultiTalk: Let Them Talk: Audio-Driven Multi-Person Conversational Video Generation

Новый липсинк. Модель для создания видео с диалогами на основе аудиозаписей.

- несколько говорящих
- до 15 секунд в 480p и 720p
- контроль персонажей текстом
- генерация мультфильмов и видео с пением и другими типами речи

Код
Веса 10 Гб
ComfyUI Kijai перед отпуском сделал
Колаб на A100

#Lipsync #potraitanimation #speech2video #comfyUI #humananimation