🚀 Plask - новый web инструмент для извлечения 3D анимации с видео

Самая крутая фича Plask это его способность анимировать персонажей, используя любое видео в качестве инпута. Вы можете просто загружать любые видео или записывать движения с любой камеры, даже вебки. Plask автоматически перенастроит, подстроит и оптимизирует вывод в редакторе.

Помимо этого, Plask позволяет легко редактировать и анимировать ваши проекты, не выходя из браузера, поскольку он создан со всеми необходимыми инструментами для анимации.

Конечно же, при необходимости вы можете использовать анимированных персонажей в ваших AR/VR проектах.

Пока что инструмент бесплатный, попробовать можно здесь.

AR/VR Designer

⚡️Ekto One VR Boots

Компания Ekto VR представила специальные ботинки Ekto One, которые позволяют пользователям передвигаться в цифровом мире на двух ногах, "скользя" на месте в реальном мире. По словам разработчиков Ekto One, устройство помогает бороться с укачиванием, что может позволить большему количеству пользователей получить доступ к метавселенной.

Ekto One предназначен для отслеживания пользователей во время их движения и постепенно возвращает их в исходное положение. Движения игроков переводятся в виртуальную реальность с помощью трекеров Vive, прикрепленных к ботинкам.

Это уже не первая попытка реализовать ходьбу в VR, но выглядит она достаточно компактно и удобно. На рынке есть аналоги в виде беговых дорожек, например Virtuix Omni One или проект Kat Walk C, про который мы рассказывали ранее.

Эта не финальная версия и неизвестно когда она будет доступна на рынке. Тем не менее, Ekto VR запланировала ряд бета-тестов, которые будут проведены до конца 2022 года.

AR/VR Designer

⚡️Сегодня Meta выпустили SDK для взаимодействия с руками и отслеживаемой клавиатурой для Meta Quest

1) Interaction SDK поддерживает как руки, так и контроллеры.

Основные фичи:
•‎ Прямой захват или захват виртуальных объектов на расстоянии. Предметы можно изменять в размерах или передавать из рук в руки.
•‎ Пользовательские позы для захвата, чтобы руки могли соответствовать форме виртуальных объектов.
•‎ Обнаружение жестов, включая пользовательские жесты, основанные на сгибании пальцев.
• 2D-элементы для ближайших элементов интерфейса и виртуальных сенсорных экранов.
•‎ Прокрутка и нажатия для отдаленных элементов интерфейса, аналогичных интерфейсу лобби в Quest.

2) Tracked Keyboard SDK поддерживает 2 модели клавиатур: Logitech K830 и Apple Magic Keyboard. Если вы подключите любую клавиатуру с помощью Bluetooth, она будет отображаться просто как 3D модель в пространстве.

Воу, ну прям крутой апдейт! Но, похоже, эти обновления в SDK пока что доступны только для Unity.

AR/VR Designer

Microsoft отменила HoloLens 3 и не знает, что делать с AR 🤷🏻‍♂️

Ранее мы рассказывали о том, что Microsoft работает над потребительской версией своей гарнитуры, Hololens 3. Но планы резко изменились.

Согласно отчету Business Insider, Microsoft отменила планы по выпуску HoloLens 3. В отчете цитируются источники из команды Microsoft, один из которых прямо говорит, что "это может стать концом пути для оборудования HoloLens, каким мы его знаем".

В отчете также указано, что генеральный директор Microsoft Сатья Наделла предпочел бы, чтобы Microsoft разработала программное обеспечение для метавселенной, которое могут использовать другие компании.

Microsoft действительно проявляет большой интерес к метавселенной. Компания объявила о своей Mesh-платформе на Build 2021, ориентированной на взаимодействие с другими людьми в виртуальной среде. Совсем недавно компания объявила о внедрении Mesh в Teams для улучшения совместной работы и общения.

Посмотрим, что из этого получится 👀

AR/VR Designer

🔥PlayStation VR2

Похоже, теперь это не просто слухи. Sony запустили официальную веб-страницу: https://www.playstation.com/en-us/ps-vr2 💥

Что из этого стало понятно:
- На сайте рассказывается о новых контроллерах Sense, отслеживании глаз, вибрации гарнитуры, а также визуальных эффектах 4K HDR и inside-out трекинге.
- Первой поддерживаемой игрой станет Horizon Call of the Mountain.
- Более детальных снимков / видео гарнитуры все ещё нет.
- Точная дата выхода устройства все ещё под вопросом, потенциально 2022 год.

Уже сейчас вы можете подписаться на их рассылку и первыми узнать о потенциальной дате выхода и возможности предзаказа 🤘🏻

AR/VR Designer

❔Meta Quest Body Tracking

Обнаружился интересный инсайд, в своей документации Tracked Keyboard SDK для Unity, Meta добавили вот этот вот скриншот.

На скриншоте можно заметить чекбокс "Body Tracking Support", но в текущей версии SDK этого чекбокса нет, как и поддержки Body Tracking ( не включая Hand Tracking, это отдельная фича ). Возможно Meta уже работает над Body Tracking для будущих версий SDK, было бы интересно взглянуть что это из себя представляет 👀

Звучит весьма интересно, ведь фича имеет огромный потенциал 🔥 Например для использования с Passthrough API. Или для обнаружения какого-то хитрого злодея, который тихонько вошел в комнату во время просмотра вашего любимого VR порно 😜

AR/VR Designer

⚡️Операционная система AR-гарнитуры Apple «realityOS» упоминается в исходном коде

Я так смотрю это рабочая PR стратегия, оставлять какой-то кусочек кода с инсайдом в новых версиях OS и ждать, пока мир начнет это активно распространять, ведь только вчера писал про инсайд от Meta 🙈

Буквально 5 дней назад Apple сделали commit в своем гит, с обновленими для MacOS и оставили там такой кусочек кода "#if TARGET_FEATURE_REALITYOS".

Да, это очевидно что Apple работает над AR гарнитурой и для нее нужна отдельная OS, но новость в очередной раз подчеркивает факт активности в этой области.

На данный момент все еще нет никакой информации о дате выхода очков, потенциально это может произойти в 2023 году.

AR/VR Designer

⚡️Обновление Lens Studio 4.13

Snap заявляют о больших планах на 2022 год, и текущее обновление только подтверждает их намерения 🙀

Так вот, к списку важных изменений:

- Устанавливаемый контент. В этом обновлении они добавили устанавливаемые шаблоны. Но в будущем Lens Studio будет оснащен различным дополнительным контентом, который можно будет легко установить прямо из UI едитора. Наверное что-то вроде Unity Package Manager или Unity Asset Store.

- Cloth Simulation UI. Snap добавили новую панель «Имитация ткани», чтобы настроить параметры и визуализировать поверхности ткани в реалтайме, без необходимости использовать кастомный javascript.

- Обновленный Foot Tracking. Теперь можно взаимодействовать с прикрепленными объектами, например активировать различные эффекты.

- VoiceML для Spectacles (Coming Soon). Прикольно выпускать фичу в обновлении с пометкой "Coming Soon", но мы прощаем. Видимо вы уже поняли о чем идет речь, это большое обновление с распознаванием голоса для Spectacles 🚀

AR/VR Designer

Абсолютно проклято

🤷🏻‍♂️ Будущее в метавселенных, которого мы так долго ждали

AR/VR Designer

🚀 Beem привлекли 4 млн долларов инвестиций

Beem это приложение, позволяющее транслировать себя в дополненной реальности.

У Beem есть два формата: предзаписанные видео и livestream.

С предзаписанным все понятно, записали свой видео месседж в полный рост, получили ссылку и отправили ее пользователям.

В случае livestream вы открываете приложение, отправляете пользователям ссылку с приглашением, ставите свой телефон напротив себя, чтобы вас было видно в полный рост, и начинаете трансляцию. Но задержка существенная, около двух минут. Для QA сессий точно не подойдет.

Ссылка для пользователей будет открыта в браузере, как я понимаю, приложение использует для этого WebAR.

Как это работает под капотом?

Beem отделяет человека на видео от фона, используя собственные алгоритмы компьютерного зрения и облачную инфраструктуру, обрабатывает видеопоток в real-time и превращает его в объемное видео ( volumetric video ). После видео размещается в AR на стороне клиента.

Доступно для iOS и Android.

AR/VR Designer

👀 Симуляция одежды & WebAR

Классный эксперимент с запеканием симуляции одежды и анимацией модели в Blender, и дальнейшим использованием модели в WebAR ( 8th Wall ).

Автор I▲N CURTIS

AR/VR Designer

⚡️Ericsson Digital Human SDK

Пару дней назад Ericsson выпустили видео с презентацией Digital Human SDK.

Краткая предыстория создания SDK. Руководитель отдела инноваций Ericsson ONE, Parth Radia, захотел проводить больше времени с бабушкой, после смерти дедушки. Он быстро обнаружил, что обычных голосовых и видеозвонков недостаточно для поддержания глубокого чувства связи. Это побудило Парта сосредоточить свои исследования в области VR и AR на том, чтобы его бабушка могла «приезжать» (в фотореалистичном 3D) на ежедневный чай, несмотря на то, что физически их разделяют более 12000 километров.

Интересно, как они создавали 3D аватара бабушки и как она подключалась на звонки 🤔 Сложно представляю свою бабушку в VR очках за чашечкой виртуального чая 👀

Простым смертным SDK пока затестить возможности нет, т.к. получить доступ можно только через sales отдел компании. Что конкретно из себя представляет SDK тоже пока непонятно. Надеюсь это не просто красивое видео и трогательная история.

Stay Tuned

AR/VR Designer

⚡️Niantic приобретает Web AR платформу 8th Wall

Платформа 8th Wall останется автономной частью Niantic Lightship, на сегодняшний день Lightship уже предлагает множество фич для создания AR приложений, таких как: World Tracking, Real-Time Mapping, Multiplayer, Semantic Segmentation и Occlusion.

Напомним вам о Web AR фичах, которые в себя включает 8th Wall: World Effects ( World Tracking ), Image Targets, Face Effects. А для удобства создания Web AR опыта 8th Wall разработали No-Code Cloud Editor и Code Cloud Editor.

С Web AR от 8th Wall Niantic сможет предложить своим пользователям действительно большой набор инструментов для создания метавселенной в дополненной реальности.

AR/VR Designer

⚡️Augmented Keyboard

Greg Madison представил прототип виртуальной клавиатуры, которая трансформируется в полноценную рабочую станцию. Пока что это лучший прототип, который я когда-либо видел.

Выделил самые интересные фичи отдельным списком:

- переключение между Desktop и VR View, это прям вообще магия. А еще можно обратить внимание, что сам дисплей имеет реализацию «портала»;

- дополнительные джойстики для управления различными элементами интерфейса, например управления камерой или таймлайном анимации;

- «drag-and-drop» для элементов интерфейса, тоже крутая фича, и мне весьма нравиться ее реализация.

- очень вкусный Touch Bar с иконками 😍;

- ну и конечно, возможность расширения дисплея параллельными окнами простым перетягиванием.

И его цитата, с которой я абсолютно согласен: «На самом деле вам не нужны тысячи отвлекающих виртуальных дисплеев, чтобы выполнять задачи. Достаточно одного умного дисплея.»

Прототип реализован в Unity под Meta Quest 2 с использованием Passthouh API.

AR/VR Designer

⚡️Enemies: новая демонстрация возможностей Unity

Ходит миф, что Unreal выдает более реалистичную картинку, чем Unity. Проект Enemies развеивает этот миф 😍

Проект Enemies - это новый проект команды Unity, демонстрирующий возможности движка для создания высококачественных визуальных эффектов. Конечно, для достижения этого результата было использовано множество инструментов, включая Ziva Dynamics, SpeedTree, Barbershop, CityBuilder, Scenic Designer и др.

Надеюсь после официальной публикации демо будет выпущен пакет со всеми исходниками, обычно Unity так и делает.

Я советую прочесть эту статью с описанием рабочего процесса создания проекта Enemies.

AR/VR Designer