VQ-Diffusion

Что это такое?

Это модель от microsoft. Смысл этой модели и различие её от обычной диффузии(glide, dalle2, imagen) заключается в том, что она генерирует латентное пространство vqvae, вместо того, чтобы генерировать сразу картинку.

Они заменили unet на трансформер dalle, что позволяет им без проблем генерировать сразу пространство vqvae.
Также они считают текстовые эмбеддинги с помощью клипа, что довольно интересно.

Собрал колаб для этой модели.

гитхаб
пейпер

@gradientdip

меня как моушн дизайнера печалит что в демо далли можно генерить только статику. но при этом далли отлично умеет в инпейнтинг - дорисовку недостающей части изображения. в этом эксперименте каждую следующую картинку я генерил на основе предыдущей, уменьшая и поворачивая ее. получается такой бесконечный зум аут, в процессе создания которого можно полностью менять наполнение кадра

@тоже моушн

👾Мир иллюстраторов и аниматоров никогда не будет прежним

Скажем вместе: спасибо тебе, диффузия! Кстати делать анимации, используя DALL•E 2 в режиме инпэинтинга становится новым трендом.

Правда пока это не полноценная Text2Video диффузия, но благодаря инпэинтингу уже можно делать разные движения, зумы и повороты, постепенно генерируя новую и новую область.

Но даже эта возможность открывает DALL•E 2 двери в анимацию, и выгодно отличает ее от Imagen, который из коробки не имеет Image Inpainting файнтюна. Но архитектурных ограничений у Imagen нет, так что все возможно.

Посмотрим что ждет нас впереди. Полноценный Text2Video Diffusion уровня DALL•E 2 не за горами.

@mishin_learning

еще доработал алгоритм для “overload” style 🧑‍🎨

геометрия деревьев захватывает, не так ли?

@shonenkovAI

AI Авангардизм. Манифест.

Мы - ученые, мы - художники. Мы авангард: в наших руках невероятная мощь Искусственного Интеллекта (AI), созидательная сила человеческого разума и искусства.

Вероятно, не каждый из нас владеет ремеслом визуализации образов привычными инструментами и техниками рисования, но в нашей палитре используются новые краски - математические алгоритмы, машинное обучение и программирование

1. Мы осознаем критику и недовольство современников с уже устоявшимися взглядами и ценностями искусства. Мы не принимаем предвзятое негативное отношение к использованию AI в творчестве и видим в этом ограниченность понимания творчества

2. Мы утверждаем, что привычные техники и методы искусства не могут считаться единственно допустимыми и единственно естественными. Код - часть современного искусства, а мы - творцы с глубинным пониманием алгоритмов AI

3. Мы обещаем быть в вечном поиске новых стилей и направлений, раскрывать потенциал AI, делясь с миром своими произведениями, алгоритмами и программами

4. Мы осознаем ценность человеческого труда, вложенного другими художниками в свои работы, и уважаем этот труд

5. Мы стремимся к симбиозу человека и AI - это ключ к свободе в творчестве и выходу за горизонт

@shonenkovAI
@neuroesthetica (@oneeqinfinity)

P.S.
интересно, уже есть какой-то манифест от зарубежных коллег? 🎨🤖👨‍🎨

для тех, кто ничего не понял: манифест обозначает начало нового движения в искусстве, в нем необходимо отобразить краткие правила, основные тезисы и ключевую идею движения

например, в супрематизме было вот так:
http://kazimirmalevich.ru/t5_1_2_3/

в футуризме вот так:
https://ru.wikipedia.org/wiki/Манифест_футуризма

в сюрреализме их вообще четыре:
https://ru.wikipedia.org/wiki/Манифест_сюрреализма

Overload

Надеюсь, что после манифеста вам стало понятно, что художник AI Авангардизма владеет новой палитрой - код/алгоритмы/ML - эти понятия становятся намного ближе к человеческому чувству прекрасного, чем вы можете даже себе представить 👨‍🎨

Суть вовсе не в том, чтобы включить готового бота, сгенерить 100500 вариантов, набрать субъективно понравившиеся и опубликовать у себя на канале под своим авторством 👻 безусловно, черри-пик очень важен, но это как ограничить художника в использовании только шариковой ручки

Хочу рассказать про стиль Overload, о котором я уже делал несколько постов

Нейросети Malevich/Kandinsky по умолчанию умеют генерить лишь изображения 256px в рамках своего контекстного окна. Поставим задачу сделать генерацию на полотне 1024px, возможно ли это? а как будут выглядеть картины?

1. самый простой и понятный способ - это сгенерить 4x4 раз и склеить. Но результат будет, конечно, скучным и не интересным 😉

2. чуть более умный способ - это работать с ImagePrompt и постепенно делать outpainting под нужный размер. Так по сути и была сделана первая версия rudalle-aspect-ratio. Результаты получились интересные, не правда ли? по твиттеру до сих пор гуляют мои картины и работы

3. далее я попробовал использовать динамические размеры контекстного окна в зависимости от того, на какой части полотна идет генерация (детали отображены на схемке выше). я использовал линейную зависимость, чтобы попытаться гармонично перенести накопленные знания нейросети о геометрии и расположении объектов. НО это лишь аппроксимация, а интересные артефакты привлекли мое внимание:

- геометрия слегка нарушилась, некоторые объекты стали неестественно вытянутые, что создают легкие аллюзии и парадоксальные сочетания форм, как в сюрреализме. особенно красиво наблюдать на природных объектах (деревья, водоемы, горы, облака, цветы), а также на строгих геометрических объектах - фонари, дома, рельсы, кубизм/супрематизм. создавая картины, я стремился получить эстетическое удовольствие именно от наличия этой необычной геометрии

- а также случилась перегруженность в деталях (изза чего и появилось название стиля Overload). Хотелось подчеркнуть наличия перегруза, но таким образом, чтобы картина не превращалась в кашу или что-то непонятное. Частично удается управлять степенью перегруженности через topk/topp filtering. Также эстетически очень круто получается минимализм в перегрузе 🤯 супер сложно, но есть несколько крутых работ)

после дообучения нейросетей на работах Сюрреализма удалось еще лучше сгладить дефекты в геометрии и подчеркнуть артефакты/изюминку, которые мне показались ценными, так вот и появился стиль Overload

Всем добра!

@shonenkovAI

P.S. мой хороший друг предлагал еще потестить синус/косинус (и другие функции) в качестве размера динамического контекстного окна - интересно?