Король умер, да здравствует король!

Протестировал новую версию китайского 3D-генератора Hunyuan 2.5.

Итак, лягушка. Первое, на что бросается в глаза — адаптивная детализация, полигонов больше там, где они действительно нужны. Сетка отлично следует за формой — это особенно заметно по сердцу и орнаменту. Впервые на моей памяти нейронка так хорошо построила рельеф. Модель получилась симметричной, без видимых артефактов вроде дыр и пересечений. Только на лапе почему-то появилась неуместная ямка.

Текстура выглядит хуже. Задняя часть представляет собой сплошной визуальный шум, и даже спереди на сердце видны артефакты.

У предыдущих поколений image-to-3D моделей ворон либо получался неровным, либо симметричным, но с раздвоенным клювом. Просто отзеркалить фигурку по вертикальной оси нельзя, однако Hunyuan 2.5 в основном справляется: укладка перьев симметричная, при этом голова выглядит вполне естественно. Впрочем, на затылке рельеф отсутствует, а на правой лапе обнаружился лишний палец. Текстуры тоже далеки от идеала и не передают особенностей оригинальной картинки.

Фигурка Ктулху также приятно удивляет детализацией и симметричностью. Сетка немного хаотичная, но органические формы переданы реалистично. Текстура покрыта шумными деталями, однако судя по бликам, roughness map удался неплохо.

Подведем итоги. Сравнение с предыдущей серией экспериментов (8 моделей, Tripo3d, TRELLIS) говорит само за себя. Прирост в качестве значительный. Лягушку и Ктулху можно спокойно печатать на 3D-принтере без постобработки. Такими темпами вскоре придется обновлять тест, добавляя сложные формы, например, скульптуры людей.

Сейчас этот генератор доступен онлайн по адресу 3d.hunyuan.tencent.com (осторожно, интерфейс на китайском) и позволяет создавать до 20 моделей в день. А еще есть надежда на релиз в open source. По крайней мере, версия 2.0 представлена в pinokio и запускается на достаточно широком наборе конфигураций железа.
#нейронки #imageto3d #DIY

Hummingbird-0

Ну логично, видеоаватары уже есть, должно быть нетрудно адаптировать для липсинка.

Hummingbird-0 от Tavus делает реалистичную, сохраняющую индивидуальность синхронизацию губ из любого MP3 + MP4. Дообучение не требуется

Говорят, что SOTA (самая лучшая модель)

Попробовать

#lipsync

MusicGPT

Еще один генератор-редактор музыки/песен/звука

Можно делать инструментал, можно с вокалом

Делает ремиксы, умеет преобразовывать звуки, в том числе изменять голос. Ах да, есть TTS, может создать речь из вашего текста

И какой позор что их презентационное видео в твиттере залито БЕЗ ЗВУКА!

Я вам сам потыкал в ТОП 50 с сайта, наслаждайтесь

На старте дают 500 кредитов - это примерно на 10 музыкальных треков. За приглашение друзей докидывают еще по 500 кредитов. Но коммерческое использование музыки все равно только на платном тарифе

#music #text2music #text2sound #music2music #tts #text2speech

Seurat: From Moving Points to Depth

Еще один трекер точек/генератор глубины для видео. Глубину предсказывает по траекториям точек, не по картинке как обычно делают остальные модели

Код ждем
Демо ждем

#trtacking #video2depth

CausVid: From Slow Bidirectional to Fast Autoregressive Video Diffusion Models

Это не просто быстрый видеогенератор, это видеогенератор в реальном времени от MIT и Adobe, основанный на WAN

9.4 кадра в секунду на одном GPU (вероятнее всего, речь о H100)

Обещают взять более качественный датасет и обучить модель с лучшим качеством

Код

#text2video #image2video #realtime

Время мемов и рефлексии

#humor