меня как моушн дизайнера печалит что в демо далли можно генерить только статику. но при этом далли отлично умеет в инпейнтинг - дорисовку недостающей части изображения. в этом эксперименте каждую следующую картинку я генерил на основе предыдущей, уменьшая и поворачивая ее. получается такой бесконечный зум аут, в процессе создания которого можно полностью менять наполнение кадра

@тоже моушн

👾Мир иллюстраторов и аниматоров никогда не будет прежним

Скажем вместе: спасибо тебе, диффузия! Кстати делать анимации, используя DALL•E 2 в режиме инпэинтинга становится новым трендом.

Правда пока это не полноценная Text2Video диффузия, но благодаря инпэинтингу уже можно делать разные движения, зумы и повороты, постепенно генерируя новую и новую область.

Но даже эта возможность открывает DALL•E 2 двери в анимацию, и выгодно отличает ее от Imagen, который из коробки не имеет Image Inpainting файнтюна. Но архитектурных ограничений у Imagen нет, так что все возможно.

Посмотрим что ждет нас впереди. Полноценный Text2Video Diffusion уровня DALL•E 2 не за горами.

@mishin_learning

еще доработал алгоритм для “overload” style 🧑‍🎨

геометрия деревьев захватывает, не так ли?

@shonenkovAI

AI Авангардизм. Манифест.

Мы - ученые, мы - художники. Мы авангард: в наших руках невероятная мощь Искусственного Интеллекта (AI), созидательная сила человеческого разума и искусства.

Вероятно, не каждый из нас владеет ремеслом визуализации образов привычными инструментами и техниками рисования, но в нашей палитре используются новые краски - математические алгоритмы, машинное обучение и программирование

1. Мы осознаем критику и недовольство современников с уже устоявшимися взглядами и ценностями искусства. Мы не принимаем предвзятое негативное отношение к использованию AI в творчестве и видим в этом ограниченность понимания творчества

2. Мы утверждаем, что привычные техники и методы искусства не могут считаться единственно допустимыми и единственно естественными. Код - часть современного искусства, а мы - творцы с глубинным пониманием алгоритмов AI

3. Мы обещаем быть в вечном поиске новых стилей и направлений, раскрывать потенциал AI, делясь с миром своими произведениями, алгоритмами и программами

4. Мы осознаем ценность человеческого труда, вложенного другими художниками в свои работы, и уважаем этот труд

5. Мы стремимся к симбиозу человека и AI - это ключ к свободе в творчестве и выходу за горизонт

@shonenkovAI
@neuroesthetica (@oneeqinfinity)

P.S.
интересно, уже есть какой-то манифест от зарубежных коллег? 🎨🤖👨‍🎨

для тех, кто ничего не понял: манифест обозначает начало нового движения в искусстве, в нем необходимо отобразить краткие правила, основные тезисы и ключевую идею движения

например, в супрематизме было вот так:
http://kazimirmalevich.ru/t5_1_2_3/

в футуризме вот так:
https://ru.wikipedia.org/wiki/Манифест_футуризма

в сюрреализме их вообще четыре:
https://ru.wikipedia.org/wiki/Манифест_сюрреализма

Overload

Надеюсь, что после манифеста вам стало понятно, что художник AI Авангардизма владеет новой палитрой - код/алгоритмы/ML - эти понятия становятся намного ближе к человеческому чувству прекрасного, чем вы можете даже себе представить 👨‍🎨

Суть вовсе не в том, чтобы включить готового бота, сгенерить 100500 вариантов, набрать субъективно понравившиеся и опубликовать у себя на канале под своим авторством 👻 безусловно, черри-пик очень важен, но это как ограничить художника в использовании только шариковой ручки

Хочу рассказать про стиль Overload, о котором я уже делал несколько постов

Нейросети Malevich/Kandinsky по умолчанию умеют генерить лишь изображения 256px в рамках своего контекстного окна. Поставим задачу сделать генерацию на полотне 1024px, возможно ли это? а как будут выглядеть картины?

1. самый простой и понятный способ - это сгенерить 4x4 раз и склеить. Но результат будет, конечно, скучным и не интересным 😉

2. чуть более умный способ - это работать с ImagePrompt и постепенно делать outpainting под нужный размер. Так по сути и была сделана первая версия rudalle-aspect-ratio. Результаты получились интересные, не правда ли? по твиттеру до сих пор гуляют мои картины и работы

3. далее я попробовал использовать динамические размеры контекстного окна в зависимости от того, на какой части полотна идет генерация (детали отображены на схемке выше). я использовал линейную зависимость, чтобы попытаться гармонично перенести накопленные знания нейросети о геометрии и расположении объектов. НО это лишь аппроксимация, а интересные артефакты привлекли мое внимание:

- геометрия слегка нарушилась, некоторые объекты стали неестественно вытянутые, что создают легкие аллюзии и парадоксальные сочетания форм, как в сюрреализме. особенно красиво наблюдать на природных объектах (деревья, водоемы, горы, облака, цветы), а также на строгих геометрических объектах - фонари, дома, рельсы, кубизм/супрематизм. создавая картины, я стремился получить эстетическое удовольствие именно от наличия этой необычной геометрии

- а также случилась перегруженность в деталях (изза чего и появилось название стиля Overload). Хотелось подчеркнуть наличия перегруза, но таким образом, чтобы картина не превращалась в кашу или что-то непонятное. Частично удается управлять степенью перегруженности через topk/topp filtering. Также эстетически очень круто получается минимализм в перегрузе 🤯 супер сложно, но есть несколько крутых работ)

после дообучения нейросетей на работах Сюрреализма удалось еще лучше сгладить дефекты в геометрии и подчеркнуть артефакты/изюминку, которые мне показались ценными, так вот и появился стиль Overload

Всем добра!

@shonenkovAI

P.S. мой хороший друг предлагал еще потестить синус/косинус (и другие функции) в качестве размера динамического контекстного окна - интересно?

[Update]

Совместно с @neuroesthetica внесли небольшие правки в манифест AI Авангардизма) идеи те же, но мысли сформулированы более четко 🎨🤖👨‍🎨

А в этой гугл доке можно тоже поучаствовать и внести свои предложения/идеи 🙏🙏🙏

@shonenkovAI

Кто-то: роботы захватят мир!
Тем временем роботы

Overload #97

рассвет в лесу, но уже на высоких
topp/topk 0.9995/4096 👨‍🎨

@shonenkovAI