⚡️Слухи подтвердились

Facebook меняет название компании на Meta.

Об этом они сообщили на конференции Facebook Connect.

AR/VR Designer

⚡️Project Cambria

Помимо новостей о смене названия компании, Facebook Meta сделали множество различных анонсов, о которых мы кратко расскажем сегодня.

На очереди Project Cambria, устройство смешанной реальности ( Mixed Reality ). Марк Цукерберг описал ее как новую линейку продуктов, отдельную от линейки Quest - «совершенно новый продвинутый и высококачественный продукт, который будет находиться в более высоком ценовом диапазоне.».

Возможно Cambria будет включать ожидаемую фичу с отслеживанием глаз и лиц для управления аватарами в виртуальной реальности.

Устройство выйдет на рынок в 2022 году.

AR/VR Designer

⚡️Project Nazare

Следующий анонс от Meta, это Project Nazare, потребительские AR очки.

Говоря о Project Nazare, генеральный директор Meta Марк Цукерберг назвал эти очки «первыми полноценными очками дополненной реальности», но также указал, что они все еще находятся в стадии разработки:

«Чтобы получить ожидаемый внешний вид и функционал, необходимо проделать большую техническую работу. Мы должны разместить голографические дисплеи, проекторы, аккумуляторы, радиоприемники, нестандартные силиконовые чипы, камеры, динамики, датчики, чтобы отображать мир вокруг вас и многое другое, в очки толщиной около 5 мм. Так что у нас еще есть над чем поработать с Project Nazare, но мы уже добиваемся значительных успехов ».

Дата выхода устройства неизвестна.

AR/VR Designer

Продолжаем песню "не виаром единым".
Никакой виар-шмиар не может передать тактильных ощущений.
Но у Meta AI уже есть ответы на эти вопросы.
Точнее протоколы о намерениях.

Лаборатория Meta AI, известная ранее как Facebook AI, сделала пост, в котором команда поделилась своими последними достижениями в обучении роботов восприятию, пониманию и взаимодействию с помощью прикосновений. По словам команды, тактильное восприятие, развивающаяся область робототехники, которая направлена на понимание и воспроизведение прикосновений на уровне человека в физическом мире, имеет важное значение для повышения эффективности взаимодействия роботов с окружающим миром.

Сдается мне роботы тут не на первом месте. Точнее привычные нам роботы.
Новые нормальные роботы будут окружать нас в реальном мире и трогать нас нужным образом, пока мы ныряем в метаверс, чтобы дать нам "полноту ощущений".

У Meta AI пока три технологии в разработке:

Digit: Недорогой, компактный тактильный датчик с высоким разрешением, предназначенный для "тонких" тактильных операций на "кончиках пальцев" робота. У него нет датчиков давления, он полагается только на свои камеры и алгоритмы компьютерного зрение.

ReSkin: Сенсорная “оболочка”, тонкая притом, грубо говоря искусственная кожа, которая учит роботов высокочастотному тактильному восприятию на больших поверхностях.
TACTO: Симулятор для тактильных датчиков, позволяющий ускорить платформу для экспериментов и поддерживать исследования ML даже при отсутствии аппаратного обеспечения.

А вообще, я уже не первый год твержу, что пора делать умную одежду. Там и датчиков можно вшить сколько надо, и данные снимать тоннами (и почище чем с браслетов), но и трогаться пользователя тоже можно, формируя нужные сигналы.

Сегодня вечером на стриме поговорим подробнее.
https://ai.facebook.com/blog/teaching-robots-to-perceive-understand-and-interact-through-touch

⚡️Snap Spectacles x Nike

Nike экспериментирует с AR опытом для бега в очках дополненной реальности Spectacles от Snap.

Некоторые эффекты выглядят действительно иммерсивно и трекинг достаточно стабильный.

AR/VR Designer

⚡️8th Wall запустили Reality Engine

На волне хайпа многие компании пытаются так или иначе подтянуться в метаверс. 8th Wall тоже не остались в стороне и запустили Reality Engine - движок, который автоматически адаптирует WebAR опыт под разные устройства, включая смартфоны, планшеты, компьютеры и AR/VR/MR гарнитуры.

На самом деле это очень большой апдейт, который включает в себя следующий фичи:

- Кроссплатформенный интерфейс - интерфейс Web AR приложений будет автоматически подстраиваться под устройство пользователя.

- Кроссплатформенный Input System - с любого устройства пользователь сможет управлять AR опытом, как с помощью VR контроллеров, так и жестов, компьютерной мыши или же касаний экрана.

- Адаптивная среда - теперь контент будет отображаться в разной среде, в зависимости от устройства, то есть в AR, либо просто в 3D.

Пока что Reality Engine оптимизирован для смартфонов и планшетов на iOS и Android, PC, Microsoft HoloLens и Meta Quest.

Больше информации о релизе в блоге 8th Wall.

AR/VR Designer

⚡️ Тактильные перчатки от Meta Reality Labs

Команда Reality Labs предоставила демку со своей реализацией тактильных перчаток для применения в виртуальной реальности. Они использовала решения из областей мягкой робототехники и микрофлюидики - технологий, обычно используемых в протезах конечностей и диагностических устройствах.

Для управления этими мягкими приводами они создают высокоскоростной микрожидкостный процессор - крошечный микрожидкостный чип на перчатке, который управляет воздушным потоком и перемещает приводы, сообщая клапанам, когда и как далеко открываться или закрываться.

В основном вся перчатка собирается руками инженеров, только некоторые базовые процессы автоматические. Производство перчаток в больших масштабах требует изобретения новых производственных процессов, так что на рынке мы их увидим не скоро.

Больше информации в блоге Tech Facebook.

А видео с процессором вы найдете в комментариях, выглядит эпично 👇🏻

AR/VR Designer

Фотошоп недавно выкатил обновление нейронных фильтров, о чем я писал тут, где вы можете в пару кликов сменить время года и всякое такое. 

А тут умелец с Reddit пошел дальше, он взял запись игры в Skyrim и применил этот же алгоритм на каждый кадр записи, получился довольно клевый эффект где графика игры стала еще реалистичнее. Нужно тоже будет поиграться, с каким-нибудь фильмом старым.

⚡️Редактирование 2D текстур 3D моделей в Procreate

Возможно вы уже слышали про апдейт Procreate'a, который дает возможность работать с 3D моделями, а также изменять 2D текстуры и просматривать модели в дополненной реальности.

freya.arts сделала наглядный пример работы этой фичи, и это действительно супер юзабельно.

Подробнее о фиче в хэндбуке Procreate.

AR/VR Designer

⚡️Unity Slices: Table

Вчера на Facebook Connect команда Unity Labs поделилась офигительным экспериментом с Oculus Passthrough 👀

Задача этого проекта изучить потенциальное будущее интерфейсов в смешанной реальности, учитывая возможность социального контакта. Они очень круто визуализировали переход между дополненной и виртуальной реальность, я в восторге 😍

Проект пока недоступен в сторах, но команда Unity Labs работает над этим.

Советую почитать статью об этом проекте в блоге Unity, там больше о процессе ресерча и разработки.

AR/VR Designer

⚡️Invisible Roommates - Everyday Experiments

Решил снова заглянуть на Everyday Experiments и увидел много классных проектов, вот собственно один из них.

Invisible Roommates - это AR приложение от Nicole He и Eran Hilleli, которое визуализирует, как устройства в вашем доме взаимодействуют друг с другом. Приложение отображает различные устройства, подключенные к вашей сети, в виде маленьких живых персонажей. Тем самым иллюстрируя невидимую взаимосвязь этих устройств, и давая понять пользователю, что происходит в его доме.

В комментариях найдете больше видео 👇🏻

AR/VR Designer

В метавселенной поженилась первая пара. К виртуальному алтарю пошли аватары Трейси и Дэйв Ганьон из Флориды, которые познакомились в метавселенной. Параллельно в физическом мире также проходила церемония #metaverse
https://www.nytimes.com/2021/12/08/fashion/metaverse-virtual-wedding.html

⚡️Geenee WebAR Full-Body Tracking SDK

Здесь знакомые ребята из Geenee выкатили офигительную обнову с WebAR Full-Body Tracking. Да-да, вы не ослышались, речь идет о WebAR 🙀. И это первое подобное решение!

SDK будет доступен для агенств и разработчиков, для этого необходимо подать соответствующую заявку здесь и вам будет предоставлено 3 бесплатных месяца некоммерческого использования. Немного позже интеграция с Full-Body Tracking также появится в Geenee WebAR NoCode Builder.

Почитать подробнее можно в блоге Geenee.

Попробовать сам WebAR опыт можно здесь:
https://lab.geen.ee/avatar/

AR/VR Designer

Omniverse стал бесплатным для всех. Напомню, что это платформа NVIDIA для 3D-проектирования и моделирования.

Платформа, которая будет использовать инструменты для создания и совместной работы над огромным количеством контента, необходимого для следующего поколения Интернета.

В общем, тем, кто давно хотел попробовать и не решался, сейчас самое время.

⚡️Cybrix добавили поддержку Passthrough API

В последнем обновлении игры добавлена поддержка Passthrough для режима "endless", что позволяет размещать игровую арену в собственном окружении.

Приложение Cybrix теперь доступно через App Lab за 9,99$ для шлема Meta Quest.

AR/VR Designer

⚡️DOOMED: Demons of the Nether

Мы уже видели DOOM запущенный на тесте на беременность, на тачбаре MacBook или DOOM запущенный на калькуляторе, который работает от 770 кусков картошки, казалось бы, чем нас еще можно удивить?

Но одно дело запустить, другое же дело создать альтернативную версию, на что требуется значительно больше времени и усилий. Minecraft энтузиаст Sibogy создал мод, превращающую игру Minecraft в DOOM.

Doomed не является точной копией оригинала, автор заявляет: «Я не хотел делать копию 1 : 1, потому что вы могли бы с таким же успехом играть в Doom. Если что-то казалось забавным, я искал способ это реализовать». Разработка заняла около 1200 часов свободного времени.

Мод бесплатный, и его можно загрузить на официальном сайте проекта или на портале PlanetMinecraft. Мы искренне рекомендуем поддержать автора проекта, он старался 😍

Вероятно вы также сможете запустить этот мод на вашем VR девайсе с помощью мода Vivecraft, который добавляет поддержу VR в Minecraft.

AR/VR Designer

(сегодня) 17 января в 19:00 по мск — бесплатная онлайн-лекция для начинающих про xR от Луки Дериу.

Расскажут:
— Про отличия VR и AR
— Чем они могут пригодиться дизайнеру (например, дизайнеру интерьеров)
— И конечно, что такое метавселенная

Лука создаёт инструменты для интерактивных проектов, в том числе видеоигр. Пишет книги о VR и 3ds Max. Работал с Oculus/Facebook, Microsoft, Nintendo, Sony.

Еще один вебинар с Дериу — о том, как дизайнеры могут улучшить иммерсивность проектов с помощью xR — пройдет 7 февраля

💃 HomeStylist v.1.0 🕺

Сегодня выкатили нейросеть, которая может не только менять позу, но и переодевать человека на фотографии. Код есть, а Колаба не было. Я исправил это недоразумение. Сделал его удобным на столько, на сколько это вообще возможно, ибо чтобы завести эту нейросеть пришлось клонировать еще парочку, но оно того стоило. Качество синтезированного изображения на высоте. Разрешение, конечно, 512 по большей стороне, но те, кому нужно, прогонят дополнительно через какой-нибудь апскейлер.

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/HomeStylist.ipynb