Последние дни мало полезного постил, наказываю себя запретом на мемы

A3D

Гибрид 3D-редактора с генератором картинок.

- контроль позы простыми болванками
- генерация 3D-модели с помощью Gen AI (Fal.ai )
- ИИ-рендер по глубине/цвету с помощью ComfyUI или Fal.ai
- драгэндроп персонажей (тестировалось с Mixamo characters)

#3dediting #contolnet #3dtoimage #rendering

Deep-Live-Cam

Однокликовая замена лица на видео в реальном времени.

Можно сохранить оригинальный рот, можно заменять одновременно несколько лиц.

Под капотом все те же Insightface / GPFGAN / inswapper_128 но почемуто хайпанула

Есть коммерческая версия

Код
HF репо

#faceswap #realtime

Phantom

Видео по референсу, дождались, ответ Bytedance (WAN) на Gen-4 References
Теперь эта функция в опенсорсе!

Веса fp16/fp32
Гитхаб
workflow

#personalization #referencing #image2video #text2video #workflow

Microsoft два месяца показывали рекламу, сделанную с применением ИИ, и никто не заметил подвоха (или всем пофиг)

Похоже, все кроме крупных планов девайсов было сгенерировано. Для этого понадобилось около тысячи запросов.

#news

FramePack-F1

Новая модель народного видеогенератора

F1 означает forward pass, модель предсказывает только будущие кадры. Также, модель обучена не накапливать ошибки.
Легче двигается камера, динамичность повысилась

FP-Studio есть в Pinokio в Community Scripts

Веса
Гитхаб

#image2video

Inpaint Anything for Stable Diffusion Web UI Forge

Адепты Comfy, скипайте эту новость.

расширение для Forge, позволяющее делать инпейнтинг по маске из SAM (на выбор ряд моделей, в том числе SAM 2)

#extension #inpainting #segmentation

LaRI: Layered Ray Intersections for Single-view 3D Geometric Reasoning

Реконструкция геометрии сцены по изображению.
Хорошо моделирует невидимую на картинке часть геометрии за счет создания послойной карты точек.

На выходе меш и послойная карта глубины

Код
Демо

#imageto3d #image2scene

А вот в FramePack Studio уже прикрутили F1

Помимо этого поддерживает промпты с таймкодами и ряд обновок есть:

- Можно задать время мягкого перехода между промптами
- Базовая поддержка LoRa: работает с большинством (всеми?) hunyuan LoRa
- Система очереди: очередь заданий не блокирует интерфейс
- Сохранение / импорт метаданных: промпт и начальные данные кодируются в выходной файл PNG, все остальные метаданные поколения сохраняются в файле JSON
- I2V и T2V: работает как с входным изображением, так и без него, что обеспечивает большую гибкость при работе со стандартными LoRA.
- Опции латентного изображения: При использовании T2V вы можете генерировать изображение на основе черного, белого, зеленого экрана или чистого шума.

Гитхаб

#image2video #text2video