SkyReels-Audio: Omni Audio-Conditioned Talking Portraits in Video Diffusion Transformers
Оживлятор портретов по аудиофайлу речи от SkyReels
Умеет делать липсинк видео
Похоже что код и веса публиковать не собираются
Платно на офсайте - Можно загрузить свое аудио или сгенерировать, на выбор есть библиотека голосов
#lipsync #portraitanimation #speech2video #image2video
Оживлятор портретов по аудиофайлу речи от SkyReels
Умеет делать липсинк видео
Похоже что код и веса публиковать не собираются
Платно на офсайте - Можно загрузить свое аудио или сгенерировать, на выбор есть библиотека голосов
#lipsync #portraitanimation #speech2video #image2video
Media is too big
VIEW IN TELEGRAM
Difix3D+: Improving 3D Reconstructions with Single-Step Diffusion Models
Исправляет артефакты NeRF и 3DGS в областях с недостатком констрейнов (??), повышая общее качество 3D-представления. Проект NVIDIA
Код ждем
#gaussian #nerf
Исправляет артефакты NeRF и 3DGS в областях с недостатком констрейнов (??), повышая общее качество 3D-представления. Проект NVIDIA
Код ждем
#gaussian #nerf
Media is too big
VIEW IN TELEGRAM
CAST: Component-Aligned 3D Scene Reconstruction from an RGB Image
Cоздает 3D модели по одной картинке с учётом физических взаимодействий и пространственных отношений объектов
В деле замешаны Deemos
Код ждем
#imageto3d #image2scene
Cоздает 3D модели по одной картинке с учётом физических взаимодействий и пространственных отношений объектов
В деле замешаны Deemos
Код ждем
#imageto3d #image2scene
Media is too big
VIEW IN TELEGRAM
TeGA: Texture Space Gaussian Avatars for High-Resolution DynamicHead Modeling
Аватары на гауссианах от Google
Впечатляющее качество, уделали всех конкурентов, но
Кода нет
#gaussian #humanavatar
Аватары на гауссианах от Google
Впечатляющее качество, уделали всех конкурентов, но
Кода нет
#gaussian #humanavatar
FreeTimeGS: Free Gaussian Primitives at Anytime Anywhere for Dynamic Scene Reconstruction
Реконструкция объемных динамических сцен по видео, на гауссианах
Еще один проект без кода, зато можно интерактивно покрутить сцены (поддерживает VR гарнитуры)
#novelveiw #rendering #gaussian #video2gaussian #videoto4D #4D
Реконструкция объемных динамических сцен по видео, на гауссианах
Еще один проект без кода, зато можно интерактивно покрутить сцены (поддерживает VR гарнитуры)
#novelveiw #rendering #gaussian #video2gaussian #videoto4D #4D
HeyGem
Опенсорсная альтернатива HeyGen. Ну можно было и по названию догадаться
- Аватар в 4K по отрывку видео 1 секунда (???)
- Клонирование лица и голоса
- Запускается на 1080Ti +
Код
#lipsync #humanavatar #vocecloning #avatar #
Опенсорсная альтернатива HeyGen. Ну можно было и по названию догадаться
- Аватар в 4K по отрывку видео 1 секунда (???)
- Клонирование лица и голоса
- Запускается на 1080Ti +
Код
#lipsync #humanavatar #vocecloning #avatar #
Опубликован код и веса видеореставратора SeedVR2
Одна H100-80G может обрабатывать видео с разрешением 100x720x1280. 4 штуки H100-80G - дополнительно поддерживают видео 1080p и 2K.
Но обещают в будущем Tile-VAE и Progressive Aggregation Sampling
Код
Веса
#videorestoration
Одна H100-80G может обрабатывать видео с разрешением 100x720x1280. 4 штуки H100-80G - дополнительно поддерживают видео 1080p и 2K.
Но обещают в будущем Tile-VAE и Progressive Aggregation Sampling
Код
Веса
#videorestoration
Telegram
Нейронавт | Нейросети в творчестве
SeedVR2: One-Step Video Restoration via Diffusion Adversarial Post-Training
Метод одношаговой реставрации видео с помощью диффузии
Код ждем
#videorestoration
Метод одношаговой реставрации видео с помощью диффузии
Код ждем
#videorestoration
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
PartCrafter: Structured 3D Mesh Generation via Compositional Latent Diffusion Transformers
3D-генератор от ByteDance, синтезирует набор семантически значимых 3D-сеток из одного изображения. Короче, создает не единую сетку, а модель состоящую из частей
Код и демо ждем
#imageto3d
3D-генератор от ByteDance, синтезирует набор семантически значимых 3D-сеток из одного изображения. Короче, создает не единую сетку, а модель состоящую из частей
Код и демо ждем
#imageto3d
This media is not supported in your browser
VIEW IN TELEGRAM
MIDI: Multi-Instance Diffusion for Single Image to 3D Scene Generation
Генератор 3D-сцен из одного изображения с помощью многообъектной диффузионной модели от VAST AI. Позволяет одновременно генерировать несколько 3D объектов с точными пространственными отношениями и высокой степенью обобщения
Нейминг конечно божественный
Код
Демо
#imageto3d #imagetoscene
Генератор 3D-сцен из одного изображения с помощью многообъектной диффузионной модели от VAST AI. Позволяет одновременно генерировать несколько 3D объектов с точными пространственными отношениями и высокой степенью обобщения
Нейминг конечно божественный
Код
Демо
#imageto3d #imagetoscene
Self Forcing: Bridging the Train-Test Gap in Autoregressive Video Diffusion
Метод ускорения видеогенерации через какие-то там трюки на обучении.
Модель генерирует высококачественные видео с разрешением 480P с начальной задержкой ~ 0,8 секунды, после чего кадры генерируются в потоковом режиме со скоростью ~ 16 кадров в секунду на одной H100 и ~ 10 кадров в секунду на одной 4090 с некоторой оптимизацией.
Уже работает #comfyui нативно и в враппере, просто нужна модель от HF.
Это модель 1.3B T2V, но в враппере ее можно использовать с модулем Vace для дополнительных входов.
Есть 3 модели, нужна только одна, dmd, кажется, работает хорошо...
Это малошаговая модель, вероятно, быстрее, чем использование Causvid lora (на модели 1.3b)
Используйте LCM SAMPLER
Код
воркфлоу
#text2video #optimization #realtime
Метод ускорения видеогенерации через какие-то там трюки на обучении.
Модель генерирует высококачественные видео с разрешением 480P с начальной задержкой ~ 0,8 секунды, после чего кадры генерируются в потоковом режиме со скоростью ~ 16 кадров в секунду на одной H100 и ~ 10 кадров в секунду на одной 4090 с некоторой оптимизацией.
Уже работает #comfyui нативно и в враппере, просто нужна модель от HF.
Это модель 1.3B T2V, но в враппере ее можно использовать с модулем Vace для дополнительных входов.
Есть 3 модели, нужна только одна, dmd, кажется, работает хорошо...
Это малошаговая модель, вероятно, быстрее, чем использование Causvid lora (на модели 1.3b)
Используйте LCM SAMPLER
Код
воркфлоу
#text2video #optimization #realtime
This media is not supported in your browser
VIEW IN TELEGRAM
Topaz Labs Astra
"Первый в мире" (ага) креативный апскейлер видео. Предлагают апскейлить сгенерарованные нейросетками видео до 4K, "с улучшением качества и добавлением мельчайших деталей". Под капотом новые модели Starlight
Умеет делать интерполяцию кадров, то есть добавлять кадры меж существующих (для слоумоушена)
Чтобы поклянчить доступ ставьте лайк официальному твиту и там в комментах напишите "Astra"
Или идем на офсайт и жмем кнопку Get early access
#upscalevideo #upscale #frameinterpolation
"Первый в мире" (ага) креативный апскейлер видео. Предлагают апскейлить сгенерарованные нейросетками видео до 4K, "с улучшением качества и добавлением мельчайших деталей". Под капотом новые модели Starlight
Умеет делать интерполяцию кадров, то есть добавлять кадры меж существующих (для слоумоушена)
Чтобы поклянчить доступ ставьте лайк официальному твиту и там в комментах напишите "Astra"
Или идем на офсайт и жмем кнопку Get early access
#upscalevideo #upscale #frameinterpolation
Опубликован код нвидиевского GEN3C
Говорят, что 48ГБ VRAM не хватает
Только линукс
Код
#image2video #cameracontrol
Говорят, что 48ГБ VRAM не хватает
Только линукс
Код
#image2video #cameracontrol
Magistral
Новая рассуждающая модель от Mistral.
Быстрый. Справляется с задачами, требующими специфических знаний, прозрачности и мультиязычности. Понимает русский
• Small - опенсорс.
• Medium - более крупная модель для корпоративных клиентов. Тянется к уровню DeepSeek R1. Превью можно потестить в Le Chat.
Веса Small на HF
LeChat - Попробовать Medium
#assistant #reasoning
Новая рассуждающая модель от Mistral.
Быстрый. Справляется с задачами, требующими специфических знаний, прозрачности и мультиязычности. Понимает русский
• Small - опенсорс.
• Medium - более крупная модель для корпоративных клиентов. Тянется к уровню DeepSeek R1. Превью можно потестить в Le Chat.
Веса Small на HF
LeChat - Попробовать Medium
#assistant #reasoning
This media is not supported in your browser
VIEW IN TELEGRAM
Krea 1
Новый генератор картинок от Krea AI
Пока еще не в общем доступе
- способty создавать изображения с фотореалистичными текстурами кожи и продвинутой цветопередачей;
- предлагает возможность работы с экстремальными ракурсами камеры;
- умеет воспроизводить визуальные эффекты, такие как зёрно, блики и размытие;
- отличается высокой визуальной сложностью генерируемых изображений;
- позволяет создавать художественные и выразительные рендеры, включая ультрареалистичный сюрреализм;
- совместим с Krea Train, что позволяет обучать модель на пользовательских изображениях для воспроизведения определённого стиля, объектов или лиц.
Попросить ранний доступ
#text2image #imageediting
Новый генератор картинок от Krea AI
Пока еще не в общем доступе
- способty создавать изображения с фотореалистичными текстурами кожи и продвинутой цветопередачей;
- предлагает возможность работы с экстремальными ракурсами камеры;
- умеет воспроизводить визуальные эффекты, такие как зёрно, блики и размытие;
- отличается высокой визуальной сложностью генерируемых изображений;
- позволяет создавать художественные и выразительные рендеры, включая ультрареалистичный сюрреализм;
- совместим с Krea Train, что позволяет обучать модель на пользовательских изображениях для воспроизведения определённого стиля, объектов или лиц.
Попросить ранний доступ
#text2image #imageediting