4Real-Video-V2: Fused View-Time Attention and Feedforward Reconstruction for 4D Scene Generation

SOTA в генерации и реконструкция видео в 4D от Snap и KAUST, в списке авторов русские фамилии.

Может как воссоздать сцену по мультиракурсному видео, так и сгенерировать по тексту

Показывает изменения сцены во времени и пространстве, как если бы это было живое 4D изображение.

Под капотом гауссианы и еще что-то

Кода нет, ждем в снэпчате?

#4D #textto4d #videoto4D #gaussian #novelview #rendering #research

4D-LRM: Large Space-Time Reconstruction Model From and To Any View at Any Time

И тут же подобная работа от Adobe С КОДОМ‼️

Модель способна принимать на вход ограниченное количество изображений объекта с разных ракурсов и моментов времени и создавать из них новые комбинации ракурсов и моментов времени.

Объединяет пространство и время, представляя объект как облако 4D гауссиан

Обрабатывает 24 кадра за менее чем 1,5 секунды на одном GPU A100

Но разрешение, похоже, всего 256 x 256 (а, вот почему с кодом)

Код должен быть, проверить не могу

#4D #videoto4D #gaussian #novelview #rendering #imageto4d

AnimaX: Animating the Inanimate in 3D with Joint Video-Pose Diffusion Models

Анимация 3D моделей по текстовому описанию или видеообразцу движения

Код ждем

#animation #text2animation #pose2animation

Появился демоспейс липсинка MultiTalk

Демо

#Lipsync #potraitanimation #speech2video #comfyUI #humananimation