🎄 UPD; Скорее всего речь идет про файнтюн и дистил

Все что далее — не более чем догадки комьюнити, но прошло уже несколько дней и можно сделать выводы на основании сообщений Эмада и комментариев под его постом:

> https://fortune.com/2022/12/07/a-i-luminaries-expressed-awe-and-caution-at-the-technologys-breakthrough-moment/ <

— Обещает 30x по-скорости в сравнение с SD 1,2

— Скорее всего IF это дистил — Implicit Fine-tune (a.k.a denoising diffusion implicit models (DDIM) distillation)

— Руки тоже могли быть улучшены на этапе файнтюна модели учителя.

tl;dr DDIM distillation, идея берущая начало в ddim и Progressive Distillation for Fast Sampling of Diffusion Models, позволяет сократить кол-во шагов с 50-250 до 8-16 с сохранение с качества.

Подход предполагает дистил семплинга ddim из учителя в 512-шагового студента, затем студент становится учителем и учит следующего студента в 256 шагов и т.д.

😈 Тут Мэттью Беллами отложил гитару и выпустил Pereto SOTA Text-to-Image — MUSE

Все знают, что Мэттью Беллами не любил авторегрессировать и его мутило от диффуза:

Отойдя от мейнстримной диффузии, пропустив скучную Parti, и оставив DALL-E в дали, Метью Беллами выбрал BERT 3B Muse: Text-To-Image Generation via Masked Generative Transformers.

И что, подход оказался Сотой? Да. Вот уж действительно — suck & see.

Рецепт композиции прост:

— Замораживаем T5, как известно энкодер в text2image, чаще всего, это блюдо, которое подают холодным.

— VQ-GAN двух размеров: 256 для главного блюда, и 512 для супер-реза

— Подаем картинку в VQ-vae-GAN, аккуратно и с Вниманием «нарезаем» на токены

— Все это дело вместе с кросс-аттеншен прокручиваем через Vaswani et al., 2017

— Обучаем по Cosine scheduling через зашумление — маскировку токенов.

— Инферить, постепенно предсказывая замаскированные токены от 100% до 0.

— При удачной генерации в 256, подать на супер-рез

— Такой подход можно из коробки использовать для разных форм инпеинтинга и аутпентинга.

Интересно то, что получается очень эффективная сеть по Pereto: COCO FID@30K 7.88 при CLIP score = 0.32
А это, прям очень очень сильно!

Вместо вывода: Трансформеры наносят ответный удар, или не диффузом единым

p.s.: Другими словами это Paella здорового человека: «Маскировочный» Muse гомологичен диффузионному Imagen (с блекджеком, кросс аттеншн и t5 xxl), тогда как «маскировочный» «мама, я ПАЕЛЛА» гомологична диффузионному DALL-E 2.

И быстрая вещь, как Paella. Скорость 0.5 sec на 256 и еще 1.3 sec на 512!

💻 Проект MUSE от GOOGLE
📄 paper MUSE

Microsoft готовятся к интеграции поисковика Bing с ChatGPT

💻 bloomberg

Это самая важная новость за сегодня?

Причина всего в сексуальном желании.

Это лучшее описание нашей модели!
А я, блядь, думал — в чем же причина?
А тут все так просто человек объяснил..

https://twitter.com/raptor_notice/status/1611366315549425664

Похоже IF в скором времени покажет генерацию текста и лучше понимание текста для генерации

Емад(основатель StabilityAI) делится небольшими анонсами сразу после МишинЛернинг

IF

A photo of a plush Tiger with t-shirt with text "I ♥️ Robin Rombach"

tweet