Describe Anything: Detailed Localized Image and Video Captioning (DAM)

Модель от NVIDIA генерирует подробные описания для заданных областей на изображениях и видео

Код
Демо

#captioning #image2text #video2text

ThinkSound

Модель от Tongyi Lab (авторов InspireMusic и много чего еще) создаёт реалистичный звук для видео. Архитектура - цепочка рассуждений (#CoT). Необычно для генерилки звука, да? Скоро достижения языковых моделей будут везде, к этому все идет.

Модель сначала генерирует общий звуковой фон, затем улучшает качество звука конкретных объектов на экране и, наконец, редактирует всё это по текстовым указаниям пользователя

Код
Демо

Спасибо @p0lygon

#Video2sfx #foley #sfx #audioediting #video2audio #text2sfx

Агент flowith NEO открыли для всех.

Причем в природе существуют некие инвайт-коды, по которым можно получить 3000 кредитов. Но их быстро разбирают. Я повбивал с десяток найденных и все уже протухшие, дальше надоело.

Для входа мне понадобился ВПН

#agent

[UPDATE 2] еще инвайты от @quatt1

YC53EVB3
PNT4CF20
I39YSNGB
G08UPCOG
H4XCX4RX

Налетай, инвайты для Flowith (одноразовые, кто успел того и тапки). Действуют только для новых аккаунтов.
Благодарности отправляйте @LarisaDi

7ZY424V3
C6HU1XOI
EWF847Q1
RKD5WW9P
7L99LZER

Ну и от меня немножк

S0IQLH34
V2E90VRX
58U1SRMH
JZXHMYCT
CO49YVQX
QVDVRU4A

[update] еще от @BrianMItro

NO2DOG8T
CNT0R7Y2
LO35QRSF
LS94R37H
AOL73YNE
S2S8HUA5
U2FH6SQ5

#giveaway #agent

Kwai Keye-VL

Модель хорошо понимает короткие видео. Keye-VL имеет 8 миллиардов параметров и умеет обрабатывать информацию из видео и текста

Код
Демо
Веса

#vlm #video2text

Higgsfield Soul Inpaint

Хиггсфилд жжет. Прикрутили к картинкогенератору Soul инпейнт

#inpainting

Depth Anything At Any Condition (DepthAnything-AC)

Генератор глубины изображения. Работает в различных условиях, включая изменения освещения, снег-дождь. Успешно справляется когда есть искажения, вызванные сенсорами.

Представляет собой зафантюненный DepthAnything-V2

Код
Демо
Веса

#video2depth #depth #image2depth

FreeMorph: Tuning-Free Generalized Image Morphing with Diffusion Model

Морфинг (плавное перетекание) одного заданного кадра в другой за 30 секунд. Полагаю, можно использовать как интерполятор кадров

В 10X ~ 50X быстрее существующих методов, #SOTA в морфинге

Код

#frameinterpolation #morphing

Kyutai TTS

Генератор речи в реальном времени. Выдает аудиопоток начиная с первых текстовых токенов, без необходимости знать весь текст заранее.

Клонирует голоса на основе 10-секундного аудиообразца. Эта функция сейчас недоступна

Предоставляет таймкоды для каждого генерируемого слова. Это позволяет использовать модель для создания субтитров в реальном времени

Но на данный момент знает только английский и французский языки

Код
Веса
Колаб

#tts #text2speech #voicecloning #realtime

GaVS: 3D-Grounded Video Stabilization via Temporally-Consistent Local Reconstruction and Rendering

Стабилизация трясущихся видео за счет 3D-реконструкции на гауссианах

Код

#stabilize #gaussian

🛰 VPN для креаторов

💬 Промт: быстрый и стабильный VPN для работы без границ
🔗 Доступ: 3 устройства по одной подписке
💻 Сервера: 🇩🇪🇹🇷🇫🇮🇺🇸
🎁 Промокод: neuronaut (скидка 40%)

❇️ Забирай пробную подписку прямо в боте: @starprovpn_BOT

#промо

LongAnimation: Long Animation Generation with Dynamic Global-Local Memory

Создание длинных анимационных видео с согласованным цветом на протяжении всего ролика. Модель умеет автоматически раскрашивать анимации, поддерживая единый стиль и цвет, что важно для анимации.

Менять цвет одежды персонажей можно просто изменив цвет в исходном изображении.

Под капотом CogVideoX-1.5 I2V и пониматор видео Video-XL

Код

#colorize #sketch2animation #image2video #image2animation

ИИ Ретоп! Наконец то!

Хуньяньский бахнул новый 3д-генератор.

Его зовут Hunyuan3D-PolyGen.

Это точно не оперсорсная версия 2.1, и скорее всего апгрейд версии 2.5(которая без кода).

Судя по видео, Ретоп выглядит достаточно убойно, но я бы не доверял видосам.

Пишут, что сделали свою авторегрессионную модель для ретопа и теперь хошь в игры, хошь в кино.

Ибо теперь также 10 000+ полигонов на модель и повышенная точность генерации.

Умеет выводить в квады - такое мы любим.

Го тестировать:

https://3d.hunyuan.tencent.com/

@cgevent

Ловите демоспейс смены освещения

Демо

#relighting #lora #kontext

UniRelight: Learning Joint Decomposition and Synthesis for Video Relighting

Релайтинг от Nvidia.
Помимо прочего умеет учитывать прозрачность объектов.

Код ждем

#relighting #research