👁 Открыта Beta Dream Studio — Стебель Диффузии в каждый дом!

🧧 Они нажали красную кнопку… DreamStudio — доступен каждому! 200 генераций при регистрации!

Проект будет развиваться в нечто большее: выбор сети, контролируемые параметры, инпеинтинг (возможжность изменять части изображений), галерея. Со временем будут проявлять новые фичи!

👉 https://beta.dreamstudio.ai

p.s.: на сайте проекта лежит неплохая инструкция по созданию запросов — prompt guide

Мишин Лернинг ✖️ Нейроэстетика

💙💛 Перший Український Чат CG/Motion/3D Дизайнерів

👉 Запрошую до чату CG Motion UA

Рекомендация от Нейроэстетики — только по-любви!

✨ Нейросеть "Стебель Диффузии" доступна каждому

tl;dr Это первая опенсорснутая (и пока что лучшая) Text2Image нейросеть текщего поколения.

🌬 Что такое StableDiffusion? StableDiffusion — это диффузионный Text2Image (как и DALL-E 2) и очень удачный гибрид Latent Diffusion и Imagen.

Stable Diffusion производит диффузию не в пространстве пикселей, а в латенщине. Вместо разрешения 64х64 — выходит сразу 512, благодаря Encoder-Decoder подходу: деталей больше, а вычислений меньше. Информация от текста течет с frozen LM (а именно CLIP), как в случае с T5 в Imagen. SD это модуляр, состоящий из 3х модулей:
1. Frozen CLIP Text Tower (как LM)
2. U-Net (из Diffusion Models Beat GANs)
3. Decoder из 64х64х4 в 512х512х3

👉 Веса и модель (в том числе новый чекпоинт!)

🔮 Оптимизированный нотбук / колаб со всеми плюшками (зарегайся на HuggingFace и получи токен, ссылка выше)

🤗 Diffusers от HuggingFace (библиотека самого графа Диффузора)

📇 Блог пост Stability.AI про релиз весов

Мишин Лернинг

🔁 ERNIE-VILG: UNIFIED GENERATIVE PRE-TRAINING FOR BIDIRECTIONAL VISION-LANGUAGE GENERATION

Может ли одна сеть решать две задачи:
— Text2Image & Image2Text —

Ответ да, конечно может. И самое начало 2022 года это подтвердило. В одно и тоже время, независимо, появились три подобные архитектуры.

Cкажу, что тренировать их end2end не стоит, если есть желание выбить SOTA в двух задачах одновременно. А вот использовать end2end претрейн — хорошая идея! Подход идеален для файнтюнов для множества задач!

Кстати сегодня стало доступно демо, так что можете сгенерировать своего "астронавта на коне на марсе с эйфелевой башней", не забудьте только перевести в гугле ваш запрос на китайский: 宇航员在火星上骑马，从后面可以看到埃菲尔铁塔。宇航员骑马

p.s.: понимание текста на голову выше чем у стебля диффузионного

📄 paper
🤗 online demo

🎨 OpenAI внедрили в DALL·E 2 "Outpainting"

Только что пришло письмо от OpenAI, где говорится, что из-за опенсорса stable diffusion они решили внедрить Outpainting, про который я подробно писал весной, в интерфейс DALL-E 2.

Outpainting позволяет генерировать изображения любого размера. Но в отличие от гибкого разрешения в диффузионных UNet'ах с вниманием, Outpainting предполагает пошаговую генерацию со всеми своими плюсам и минусами.

+ Поэтапная, контролируемая генерация деталей и объектов
- Локальное рецептивное поле

Outpainting — это продолжение генерации изображения за его первоначальными границами. Outpainting добавляет визуальные элементы, развивая генерацию в новых направлениях, основываясь на вашем текстовом описании.

Это позволяет начать ваше полотно в одном стиле, а закончить в другом, уточнять элементы и менять их!

Outpainting — это Inpainting без привязки исходному разрешению..

📇 blog post
🥑 DALL-E 2 Editor

❗️OpenAI начало обучать GPT-4. Обучение будет закончено через пару месяцев

Сказать больше не могу, чтобы не подставлять.. Но что стоит знать:

— Огромное количество параметров
— Спарс парадигма?
— Стоимость обучения ~ $.e6
— Text, image-vqvae и текстовые токены в одном потоке (аудио? / видео?)
— SOTA в огромном количестве задач!
— Релизное окно: Декабрь-Февраль

p.s.: откуда инфа? ..оттуда. доверяю ли я ей сам? ну в чём-то да, в чём-то нет. мое дело рассказать, ваше — отказаться

@мишин лернинг