Фанаты при помощи ИИ-генератора визуальных эффектов оформляют шоу любимых групп

Культ Тех регулярно пишет о том, как ИИ и цифровые технологии меняют музыкальную индустрию. Сегодня многие считают, что будущее живой музыки определяется такими компаниями, как ORIGIN STORIES, позволяющей фанатам вносить свой вклад в визуальное оформление концертов.

ORIGIN STØRIES - первопроходцы в создании визуального оформления, генерируемого ИИ, во время выступлений. В партнерстве с основанной на блокчейне платформой для трансляции потокового видео Livepeer компания предлагает музыкантам и фанатам возможности для совместного творчества.

Вот как это работает. Перед концертом фанаты могут использовать генератор ORIGIN STØRIES AI для создания визуальных образов, за которые затем будут голосовать другие фанаты. Эффекты, получившие наибольшее количество голосов, интегрируются в оформление шоу. Генератор ORIGIN STØRIES AI построен на открытой инфраструктуре потокового видео Livepeer, а значит, фанаты могут визуализировать выступления своих любимых групп из любой точки мира.

«Контент, который требуется не только артистам, но также площадкам и фестивалям, стоит дорого в производстве» - объясняет Шон Брэдфорд, соучредитель ORIGIN STØRIES. «Поиск новых путей, позволяющих зрителям переживать новый опыт во время выступлений, открывает широкие возможности как для организаторов шоу, так и для фанатов».

«Художники всегда ищут способы привлечь суперфанатов. С помощью ИИ-инструментов артисты могут использовать творческий потенциал фан-сообществ для своих выступлений» - добавляет Даг Петканикс, генеральный директор и соучредитель Livepeer. «Затем эти визуальные эффекты можно объединить с прямой трансляцией, тем самым, фанаты видят результаты своей работы в прямом эфире».

Одна из привилегий медиахудожников - создавать новые системы, сочетающие различные элементы для получения неожиданных результатов. Работа Андре Рангеля «Des)Aceleração» идеально демонстрирует это. Он экспериментирует с рибофлавином (желтым витамином B2) и его свойством испускать особые фотоны при взаимодействии со светом. Используя лазер, направление которого быстро меняется с помощью специального программного обеспечения, художник создает впечатляющий аудиовизуальный опыт.

Андре Рангель - художник и дизайнер, основатель и арт-директор студии 3kta. В своих работах он исследует взаимодействие между искусством и вычислительными технологиями. Является профессором Факультета искусств Университета Порту, доктором наук в области науки и технологии, соорганизатором и соучредителем xCoAx - Международной конференции по вычислениям, коммуникации и эстетике.

На видео можно посмотреть и послушать работу «Des)Aceleração».

На прошлой неделе умер Билл Виола, пионер медиаискусства и, пожалуй, самый известный видео-арт художник нашего времени. В своих работах он обращался к таким фундаментальным темам, как рождение, смерть, духовность, исследовал мистические традиции дзен-буддизма и исламского суфизма, а также западное искусство Ренессанса.

Начиная с 1970-х годов Виола создавал архитектурные видеоинсталляции, звуковые среды, электронные музыкальные перформансы, плоские видеопанели и работы для телевизионного вещания. После окончания университета выступал с композитором Дэвидом Тюдором в музыкальной группе Rainforest, которая позже стала известна как Composers Inside Electronics. Работал техническим директором новаторской видеостудии Art/tapes/22 во Флоренции. В это время Виола познакомился с творчеством таких выдающихся техкультурных художников, как Нам Джун Пэк, Брюс Науман и Вито Аккончи.

В отличие от многих видео-арт художников он практически не использовал цифровой монтаж. Возможно, наиболее технически сложной частью его работ является использование экстремально замедленной съемки. Культ Тех вспоминает несколько важных произведений Виолы.

«Телевидение наоборот» (1983) - серия из 44 видеопортретов, первоначально снятых для эфирного телевидения, а затем задокументированных как 15-минутное видео. На нем изображены люди из Бостона, сидящие в своих гостиных и молча смотрящие в видеокамеру, как будто это телевизор. По задумке Виолы портреты должны были занять место в эфире, обычно занимаемое телерекламой.

«The Quintet Series» (2000-2001) - четыре видео, где в замедленном режиме показаны выражения лиц пяти актеров. Работа ссылается на старых мастеров Возрождения, таких как Иероним Босх и Дирк Баутс.

«Ночное путешествие». В 2005 году Виола начал работать с Трейси Фуллертон и Лабораторией игровых инноваций Университета Южной Калифорнии над арт-игрой The Night Journey, основанной на универсальной истории мистического путешествия человека к просветлению.

Лондонский музыкальный продюсер Павел Жигарев, пишущий музыку для рекламных роликов, сделал с помощью ИИ фейковый клип в стиле кантри на песню своей любимой группы Limp Bizkit «Break Stuff». Видео стало вирусным, набрало больше миллиона просмотров, а группа разместила его в своих социальных сетях. Фред Дерст написал Павлу и попросил его снять официальный музыкальный клип на композицию «Turn It Up Bitch».

«Весь процесс создания видео занял около 2-3 недель» - говорит Жигарев. Среди использованных им моделей были следующие: ChatGPT - для создания сложных промптов; Midjourney и Leonardo AI - для генерации изображений; Photoshop AI - замена/добавление элементов (удаление шестипалых рук и трех ног); Krea.ai - улучшение окружающих элементов; FaceSwap - замена сгенерированных лиц на лица артистов; Topaz Gigapixel - увеличение масштаба до 8k; Runway ML - создание видео из фотографий; Luma.ai - создание видео с лицом артистов (меньше искажений лица).

Культ Тех ставит лайк клипу. Получилось глупо и весело - в лучших традициях Limp Bizkit. А вы что думаете об этом видео?

https://youtu.be/bSTX2xVpfPw?si=xAG8HG9BjrZkOyY3

«The Lights Which Can Be Heard» - исследовательский арт-проект Себастьяна Робера, посвященный звукам северного сияния, которые давно известны коренным жителям Арктики. Западное научное сообщество десятилетиями отрицало их существование, пока в 1950-х годах не появились гипотезы об их происхождении. Люди могут воспринимать естественные ОНЧ (очень низкие частоты) радиоволн, производимых северным сиянием, поскольку некоторые природные элементы, например, минералы или кристаллы, выступают в роли приемников и преобразуют электромагнитные радиоволны акустический спектр.

Вдохновленный этим контекстом, Робер создал научную и поэтичную работу. Синестетическая инсталляция позволяет зрителям визуально и акустически воспринимать звук северного сияния. Кристалл кварца принимает луч света, несущий естественные ОНЧ-радиоволны, создаваемые Северным сиянием. Свет проходит через кристалл и попадает на фотосенсор, который демодулирует его обратно в звук. Различные динамики, расположенные в выставочном, пространстве распространяют исходящий оттуда звук.

Себастьен Робер - художник и исследователь, работающий на стыке визуального и звукового искусства, технологий, науки и этнографии. Большинство его проектов образуют цикл «Ты не райская птица», в рамках которого он изучает исчезающие звуковые ритуалы и космологии коренных народов.

Инсталляция, созданная в сотрудничестве с Центром полярного сияния, была показана на Биеннале цифровых образов.

https://vimeo.com/804343883

Пересоздание воспоминаний

Память переживает кризис, связанный с биологическими сбоями, резким увеличением числа случаев заболевания Альцгеймером и созданием фальшивых воспоминаний, разработанных машинами. Художница Вейди Чжан, наблюдая за регрессиией памяти своей бабушки, вызванной деменцией, придумала ИИ-проект ReCollection, который использует распознавание речи, автозавершение текста и преобразование текста в изображение для создания новых воспоминаний. По сути, это это сборка интимных человеко-машинных артефактов.

Участники интерактивной инсталляции произносят фрагменты воспоминаний в микрофон. ИИ-система автоматически заполняет детали произнесенных слов, чтобы завершить текст повествованием, используя GPT-4. Завершенный рассказ отправляется в Stable Diffusion для создания синтетических изображений, представляющих воспоминания на основе интерпретации машины.

По замыслу художницы, проект может вдохновить на лечение регрессии памяти, предоставляя сценарий будущего, в котором воспоминания - это симбиоз человеческой и машинной деятельности. Он повышает осведомленность людей об этой проблеме и повышает их сочувствие к сообществу людей, страдающих деменцией, через персонализированный художественный опыт.

Вайди Чжан - художница и дизайнер новых медиа, работающая в Лос-Анджелесе и Фениксе. Она является ассистентом профессора дизайна иммерсивного опыта в центре Media and Immersive eXperience (MIX) Университета штата Аризона. Ее междисциплинарные исследования в области искусства и дизайна находятся на пересечении иммерсивного медиадизайна, экспериментальной визуализации данных и интерактивного искусства ИИ.

https://www.youtube.com/watch?v=JijFno8Ch88

Компания Alibaba Group представила короткометражный фильм «К величию ЕЕ» посвященный эволюции гендерного равенства на Олимпийских играх. В нем при помощи облачного ИИ Alibaba восстановлены и колоризированы архивные фотографии с соревнований прошлых лет. Для повышения разрешения изображений использовалась обработка Clarity, а для придания ярких цветов к полутоновым изображениям применялись усовершенствованные ИИ-модели.

В фильме представлены три выдающиеся спортсменки - Чжан Шань из Китая, Катрин Свитцер из США и Сюзанн Ленглен из Франции. Шань вошла в историю Олимпийских игр, завоевав золотую медаль в стендовой стрельбе в соревнованиях мужчин и женщин в Барселоне в 1992 году. Свитцер - марафонка, писательница и защитница интересов женщин в спорте, официально пробежавшая Бостонский марафон в 1967 году. Ленглен - французская теннисистка, являвшаяся с 1921 по 1926 год первым номером мирового рейтинга.

На парижской олимпиаде 50% спортсменов - женщины. Восьмиминутный фильм можно посмотреть здесь.

https://youtu.be/Aso1wqRN5Io?si=J27TdOiyed4YPlhY

Igun - проект техкультурной художницы Минне Атаиру, в котором она использует ИИ для того, чтобы вообразить украденное прошлое. Бенинскую бронзу создавали безымянные и невоспетые художественные гении с XIII по XIX век. Во время британского колониального вторжения (с 1897 по 1914 гг.) эти предметы были конфискованы и вывезены за границу, а производство фактически остановилось. В результате 160 западных культурных учреждений стали хранителями награбленных артефактов, известных под общим названием «Бенинская бронза».

Igun - это попытка ответить на вопрос, какие произведения могли быть созданы во время британского колониального правления. Атаиру использует AR, 3D-печать и нейросеть StyleGAN (позволяющую генерировать лица несуществующих людей), чтобы воссоздать утраченную культурную среду: бронзовые головы, сосуды, алтари, тексты, стихи и тд. Возникает статистически предсказанное прошлое, которое, с одной стороны, является воображаемым, а, с другой, задает настоящему неудобные вопросы, касающиеся репараций и забвения. На сайте проекта можно посмотреть раличные интерактивные объекты.

Минне Атаиру - исследовательница и междисциплинарная художница, работающая с генеративным ИИ. Ее работы исследуют пробелы в исторических архивах африканцев. Атаиру выставлялась в музеях по всему миру.

Стартап Audial Music, основанный в прошлом году, объявил о запуске новой «революционной» платформы для создания аудио на основе ИИ. Согласно пресс-релизу, она предлагает полный набор инструментов для музыкантов, продюсеров и аудиоэнтузиастов.

Одним из главных новшеств Audial Music AI является продвинутый ИИ-сплиттер, который может разделить микс на отдельные компоненты, включая вокал, бас, барабаны и др. «Если вы хотите удалить вокал из песни, изолировать определенные инструменты или создать готовые к ремикшированию стебли, наша платформа обеспечит качественный результат всего за несколько кликов» - говорит основатель компании Зак Фаррелл.

Audial Music AI также может похвастаться AI MIDI-конвертером и генератором. Пользователи могут преобразовывать аудиозаписи в MIDI-данные или использовать ИИ для генерации новых MIDI-композиций. Среди других функций - поиск BPM и клавиш, бесплатный AI-мастеринг и RMS-анализатор.

«Наша цель - сделать профессиональные аудиоинструменты доступными для всех», - добавляет Фаррелл.

Дрезденским симфоническим оркестром будет дирижировать трехрукий робот

Специалисты по робототехнике из Центра тактильного интернета (CeTI) при Дрезденском техническом университете разработали трехрукого робота, способного дирижировать оркестром. MAiRA Pro S будет дирижировать Дрезденским симфоническим оркестром во время концерта, посвященного его 25-летию. В программе заявлены два новых произведения, написанных для совместного исполнения - роботом и музыкантами.

Это выступление - результат сотрудничества дирижера оркестра Маркуса Риндта и Франка Петерса, руководителя группы по робототехнике в CeTI. MAiRA Pro S был специально разработан для дирижирования новым сочинением #kreuzknoten Виланда Райзмана. Три руки робота запрограммированы на ведение перекрестных ритмов, ускоряющихся и замедляющихся (дирижер-человек на такое не способен).

Еще одно новое произведение программы, «Шедевр полупроводника» Андреаса Гундлаха, также исследует кросс-ритмы: оркестр делится на три группы, которые играют в трех разных метрах и темпах. Цель концерта - задать вопросы о природе творчества и о том, как технологии могут менять художественную практику.

«Может ли в результате сотрудничества между людьми и машинами появиться новое, совершенно уникальное музыкальное выражение? Появятся ли интерпретация и харизма?» - задается вопросами Риндт.

«Сотрудничество между людьми и роботами всегда стимулировало наши исследования» - сказал представитель CeTI Фрэнк Фитцек. «Мы видим его так: роботы поддерживают людей, а человеческие навыки передаются робототехнике».

Дрезденский симфонический оркестр, основанный в 1999 году Риндтом и композитором Свеном Хельбигом, играет только современную музыку и состоит из независимых и внештатных исполнителей. Его проекты часто посвящены социальной справедливости: в 2013 году оркестр сыграл проект «Симфония для Палестины» с арабскими музыкантами на Западном берегу реки Иордан, а в 2017 году - программу в знак протеста против предложенной Дональдом Трампом стены на границе США и Мексики.