⚡️Освещение сцен в Blender с помощью гироскопа iPhone

Китайский 3D-дизайнер 五天晴 ( читается как Wǔ tiān qíng, а в переводе "пять солнечных дней" 👀 ) придумал нестандартный способ освещения частей сцены с помощью iPhone. На первый взгляд даже кажется, что проект подсвечен фонариком телефона.

Чтобы добиться такого потрясающего результата, художник использовал приложение на основе OSC (Open Sound Control), которое определяет движение телефона с помощью гироскопа. Затем движение связывается с источником света в Blender через надстройку Blender OSC, что позволяет перемещать телефон и изменять освещение. Результат выглядит очень впечатляюще и потенциально может быть использован будущими художниками и разработчиками игр, чтобы сделать свои проекты еще более интерактивными.

Подробнее о проекте можно узнать здесь.

AR/VR Designer

⚡️Snap покупает разработчиков нейроинтерфейса Next Mind

Ранее мы уже рассказывали о Next Mind в этом посте. Если вкратце, то Next Mind разработали гарнитуру для управления виртуальными объектами с помощью мыслей.

Вероятно технология NextMind будет включена в будущие версии AR очков Snap Spectacles.

На видео к публикации демо с возможностями Next Mind в интеграции с VR очками. Все манипуляции в VR происходят с помощью нейроинтерфейса (помимо поворота камеры, т.к. за эту функцию отвечает VR гарнитура).

Я считаю, что это очень удачное вложение для Snap, и поможет вывести взаимодействие с контентом в Spectacles абсолютно на новый уровень.

AR/VR Designer

⚡️Manus Quantum Metagloves

На GDC 2022 производитель перчаток XR Manus показал свои новые перчатки Quantum Metagloves. Перчатки использует метод магнитного отслеживания и демонстрируют высокую точность отслеживания пальцев.

Квантовые метаперчатки имеют магнитное основание на тыльной стороне ладони, а каждый палец имеет модуль на кончике, который ощущается в магнитном поле. Это помогает перчаткам определять абсолютную длину и ширину пальцев, что обеспечивает более точное отслеживание руки в сочетании со скелетной моделью руки, которая динамически масштабируется для пользователя.

В настоящее время перчатки рассчитаны на корпоративное использование — пара стоит 9000 долларов 🤷🏻‍♂️, хотя Manus хочет когда-нибудь представить Quantum Metagloves потребителям.

Manus заявляет, что также планирует выпустить тактильную версию Metagloves, которая будет включать тактильные ощущения для каждого пальца для улучшения погружения в виртуальную реальность.

Видео с полной демонстрацией здесь.

AR/VR Designer

⚡️Arkio запустились на Meta Quest

В бесплатной версии продукта уже доступны такие фичи, как multiplayer, passthrough порталы в физический мир, hand tracking и основные инструменты для моделирования 3D пространства.

За 8$ ( 12$ при помесячной оплате ) разработчики игр получат очень крутую фичу экспорта/импорта из Unity. Это реальный мощный тул для левел дизайна, особенно с фичей мультиплеера.

В подписке Pro включен экспорт/импорт из Revit, Rhino & Sketchup. А в Enterprise экспорт/импорт из BIM 360.

Помимо этого у Arkio есть едитор для Mac. И приложение для iPhone и iPad с фичей дополненной реальности. То есть все ваши наработки можно посмотреть в AR 🚀

AR/VR Designer

⚡️ARRR.duino

Интересный проект-финалист хакатона MIT Reality Hack 2022. Команда создала инструмент для проектирования схемотехники Arduino в AR под Hololens 👀

Проект ориентирован на молодую аудиторию. Есть даже виртуальный помощник в виде пирата-капитана Дуино, который помогает на первых этапах подключения простой светодиодной схемы.

В AR пользователи могут соединять вместе различные аппаратные компоненты, такие как светодиоды и резисторы, используя систему соединения на основе узлов.

Что самое классное, так это возможность экспортировать работу схемы в код и вставить прямо в IDE Arduino 🙀 Также есть фича экспорта схемы в реальный макет Arduino, модель будет иметь точную проводку и может использоваться в качестве примера при соединении реального оборудования.

Команда получила 2 ачивки: "Gold Prize" и "Best Use of MRTK", с чем мы их и поздравляем 🚀

Было бы круто портировать все в VR 👀 Но может быть уже есть какие-то тулзы проектирования Arduino в VR. Присылайте в комменты, если знаете 👇🏻

AR/VR Designer

🌻 Operation Sunflower

Проект «Operation Sunflower» разработан украинскими диджитал активистами, некоторых из них я знаю лично и уверен в искренности их намерений 🙌🏻

Концепция проекта:
1 броня NFT = 1 физическая броня
+ WebAR experience, где вы можете примерять на себе цифровой жилет и шлем.

Все средства идут в фонд «Come Back Alive», который последние 8 лет успешно поддерживает армию. Здесь твит от команды Come Back Alive с анонсом проекта. На данный момент уже собрали и отправили 5135 USD / 1.7eth

Минтинг коллекции закончиться как только на территории Украины не останется вражеской армии. Инвестора будут иметь возможность участвовать в дальнейших дропах от команды Operation Sunflower.

Больше о проекте:
https://operationsunflower.io/
twitter.com/opsunflowernft
instagram.com/operation.sunflower

Добавляйтесь в Discord:
https://discord.gg/nCk65GrK

Кто знает чем можно помочь проекту - пишите.

В комментариях демонстрация NFT с Web AR Full Body Tracking 👇🏻

AR/VR Designer

🚀 SNUG: Self-Supervised Neural Dynamic Garments

Деформация 3D-одежды с помощью нейронной сети, обученной без использования 3D мешей или изображений?? 🤔

Команда проекта использовала физику, что бы предсказать поведение одежды в каждом отдельном кадре. Этот подход позволяет обучать модели интерактивной одежды, включая динамические деформации и мелкие складки, с ускорением обучения более чем в два раза, по сравнению с другими популярными подходами.

Страница проекта:
http://mslab.es/projects/SNUG/

Репозиторий проекта с кодом для запуска обученных моделей SNUG:
https://github.com/isantesteban/snug

AR/VR Designer

⚡️ Geenee AR & Ready Player Me Partnership

Ранее мы рассказывали о последнем крутом апдейте Geenee AR SDK с фичей WebAR Full Body Tracking.

И буквально пару дней назад Geenee AR объявили о партнерстве с Ready Player Me ( RPM ) 🚀

Уже сейчас всего в пару кликов в Geenee WebAR Builder вы можете разместить своего цифрового аватара Ready Player Me на AR-сцене.

Потестировать демо с аватарами RPM и Full Body Tracking можно здесь: https://lab.geen.ee/avatar/

Geenee WebAR Builder позволяет также интегрировать свой кастомный код внутри билдера, это дает возможность создавать оригинальные и интерактивные сцены. Вот отличный пример с RPM скейтером Tony:
https://play.geenee.ar/arskater

Подробнее о партнерстве читайте в блоге Geenee AR:
https://geenee.ar/your-ready-player-me-avatars-are-now-wearable-and-playable-in-geenee-ar/

AR/VR Designer

⚡️SoundxVision Gestures Controller

Команда SoundxVision работает над контроллером, который даст возможность управлять опытом в дополненной и виртуальной реальности с помощью жестов.

Текущий прототип уже поддерживает 10 жестов, включая определение силы взаимодействия.

Последующие версии планируются более компактными и мобильными, включая wireless подключение к устройству с помощью Bluetooth.

Жесты это очень перспективное направление взаимодействий с интерфейсом и имеет ряд преимуществ над альтернативными подходами. Например это устройство может работать без света, и неважно как и где расположены ваши руки.

Команда у проекта небольшая, всего 3 человека. Релиз запланирован на 2023 год.

Больше о проекте:
https://soundxvision.io/

AR/VR Designer

🚀Meta Quest Hands 2.0

В сравнении с предыдущей версией новое обновление Hand Tracking выглядит впечатляюще 😍

Среди апдейтов:
• Улучшенное распознавание жестов - улучшили три основных жеста: "pinch", "poke" и "grab". А также пользовательские жесты, созданные с помощью Presence Platform Interaction SDK.
• “Hand-over-hand” трекинг - теперь hand tracking понимает где ваши обе руки, даже если вы накладываете одну руку на другую.
• Улучшения функции отслеживания - теоретически с этим обновлением не будет теряться трекинг рук, что иногда случалось в предыдущей версии.

Meta уже предоставила ранний доступ к Hands 2.0 для некоторых приложений, включая Cubism, Hand Physics Lab, Liteboxer и Unplugged: Air Guitar .

AR/VR Designer

#future
https://phorhum.github.io/ — новый метод 3д-реконструкции от Google Research. Заточен для создания 3д-аватара из одной фотографии человека.

Примеры, где он ещё может пригодится:
- поместить человека на фото, применив подходящее освещение
- анимировать полученную 3д-модель

⚡️Reals by Hour One

Все больше стартапов, в том числе Hour One, выходят на рынок цифровых аватаров.

Reals, AI платформа Hour One, превращает людей в виртуальных аватаров с возможностью озвучивания текста голосом.

Компания построила свои собственные нейронки и использует для этой цели GAN. Аватары могут быть выбраны из набора существующих персонажей или пользователь может создать собственного, включая возможность создания цифрового клона.

Можно добавлять разные картинки на фон, текст и т.д. и потом все скопом отправить в рендер. Удобно.

Если вы давно искали диктора для своего контента - welcome.

AR/VR Designer

Roblox выпустил инструменты, которые позволяют делать реалистичную виртуальную одежду

Над Layered Clothing работали последние два года. Если раньше одежда в Roblox напоминала больше скины из Minecraft, то после запуска этой функции всё стало намного реалистичнее и привлекательнее для брендов.

Разработка заняла так много времени, потому что одежда должна сидеть одинаково хорошо на разных моделях — от кубических аватаров до больших монстров со сложными геометрическими моделями.

В итоге разработчики Roblox нашли способ накладывать слой с одеждой на слой с моделью аватара.

В Roblox очень гордятся проделанной работой и считают, что Layered Clothing позволит сделать виртуальную одежду более детализированной и реалистичной.

@fashiontech

⚡️Meta Project Cambria

Во время недавнего звонка Meta о доходах в первом квартале 2022 года Цукерберг сказал инвесторам, что Cambria будет «более сосредоточена на использование в рабочем процессе», чем Quest 2, заявив, что новое устройство «заменит ваш ноутбук».

В то время как Quest 2 имеет зернистые черно-белые камеры, Cambria будет иметь цветовую передачу с высоким разрешением для смешанной реальности. Cambria также будет включать в себя отслеживание глаз и отслеживание лиц для управления аватарами в социальной виртуальной реальности.

C такими фичами для этого устройства потребуется больше оперативной памяти… Ссылаясь на инсайты от SadlyItsBradley, Reggy04 и Samulia, вероятно они поднимут ее до 12 гб, то есть в 2 раза по сравнению с Quest 2.

Точной даты релиза устройства пока еще нет, но мы ждем 🌚

AR/VR Designer

⚡️2Sync - The Next Level Of Virtual Reality

2Sync не просто помогает трансформировать физическое пространство в цифровое, но и адаптировать виртуальный мир к среде пользователя.

Все это дело 2Sync завернули в SDK с такими фичами:

- возможность создавать room-independent описание виртуального опыта;
- сопоставление виртуальных и реальных объектов на основе правил с учетом сложных взаимосвязей, зависимостей трансформации и свойств материалов;
- дает возможность создавать свой собственный процедурно генерируемый контент;
- возможность добавления и калибровки нескольких пользователей в среде ( multiplayer );
- real-time генерация процедурно сгенерированных виртуальных миров.

Проект разрабатывается как research проект в рамках Института Хассо Платтнера в Германии и в настоящее время находится на стадии альфа-тестирования. Но текущий результат уже впечатляет, уверен у проекта есть большие перспективы!

Запросить доступ к SDK можно здесь.
Сайт проекта: https://2sync.io

AR/VR Designer

⚡️Dress Up — AR инструмент для покупок онлайн от Snapchat

В целом возможность примерять одежду и аксессуары от различных брендов уже ранее была в Snapchat, но это было не централизовано. С помощью функции Dress Up вы можете просматривать любые бренды, предлагающие AR-покупки, в одном централизованном месте или просматривать цифровые образы от индивидуальных креаторов.

Вполне вероятно, что когда-то Snapchat может трансформироваться в полноценный AR-first маркетплейс одежды и аксессуаров.

И немного интересной статистики от Snap. Более 250 миллионов пользователей использовали линзы AR для покупок в общей сложности более 5 миллиардов раз. Snap сообщает, что эти линзы конвертируют гораздо более высокий процент возможных покупателей, чем обычная реклама.

Новая функция будет постепенно внедряться для всех пользователей Snapchat по всему миру. Если у вас нет функции «Dress Up» в Snapchat, попробуйте обновить приложение, возможно оно уже доступно в вашем регионе.

AR/VR Designer

⚡️Meta Research: Codec Avatars 2.0

Facebook еще в 2019 году анонсировали работу над Codec Avatars. Аватары генерируются с помощью нескольких нейронных сетей и 171 камеры, таким образом достигается максимальная реалистичность 3D модели.

На апрельском семинаре Массачусетского технологического института «Virtual Beings & Being Virtual» Ясер Шейх, возглавляющий команду Codec Avatars, показал видео последней версии проекта под названием «Codec Avatars 2.0».

С помощью дополнительных камер и захвата эмоций Meta добились более реалистичного результата, прямо вау 😍

Текущая версия еще не пригодна для продакшна, тем не менее новые модели меньше и эффективнее, чем прошлые исследования, а нейронная сеть теперь вычисляет только пиксели, видимые гарнитуре. Благодаря этому усовершенствованию гарнитура Quest 2 способна отображать пять аватаров в пустой сцене со скоростью 50 кадров в секунду.

AR/VR Designer

⚡️AR очки для реал-тайм перевода от Google

Google завершили свою презентацию I/O новым тизером потенциально нового AR девайса. Ключевой фичей, которую продемонстрировал Google, является возможность видеть реал-тайм перевод текста и аудио прямо перед вашими глазами. На сегодняшний день это одно из самых практичных применений AR очков.

Но они не поделились какими-либо подробностями о релизе, а только продемонстрировали девайс в записанном видео, которое на самом деле не показывало сам дисплей и скорее является рендером. Но то, что было показано в видео, нарисовало очень крутую картину потенциального будущего AR.

AR/VR Designer

⚡️ARCore Geospatial API

Geospatial API предоставляет разработчикам доступ к глобальной локализации — той же технологии, которая используется в Live View в Google Maps с 2019 года, предоставляя юзерам полезные подсказки с помощью AR.

С этим API разработчики могут привязывать контент в дополненной реальности по широте, долготе и высоте над уровнем моря в более чем 87 странах, при этом не нужно сканировать физическое пространство, что значительно экономит время и ресурсы.

Уже есть возможность использовать API для iOS и Android, включая Unity и нативные библиотеки. Документация здесь.

также доступны два Unity демо проекта, Balloon Pop ( multiplayer geospatial experience! ) и Pocket Garden.

AR/VR Designer

⚡️Apple продемонстрировали будущую гарнитуру смешанной реальности совету директоров

Совет компании, состоящий из восьми независимых директоров и главного исполнительного директора Apple Тима Кука, собирается не менее четырех раз в год. Версия устройства была продемонстрирована директорам во время последней встречи, на прошлой неделе. Источник информации остается инкогнито, поскольку встреча была закрытой. Но мы то знаем хитрые PR ходы компании Apple, так что вряд ли это случайность 👀

В последние недели Apple также ускорила разработку realityOS.

Эти две новости потенциально ведут к тому, что презентация продукта может состояться в обозримом будущем.

AR/VR Designer