⚡️Проект Starline: объемные видеоконференции без очков дополненной реальности

Проект Starline - это сочетание софта и железа, которое даст возможность проводить объемные видео-конференции. Google применяет свои исследования в области компьютерного зрения и машинного обучения, чтобы превращать 2д картинку, в объемное 3д изображение. Конечно же, не обойдется без специального экрана, который создает ощущение объема и глубины.

Пока что это концепт, над которым активно работает команда Google Research, но звучит очень заманчиво 🔥

Больше информации в блоге Google:
https://blog.google/technology/research/project-starline/

AR/VR Designer

⚡️Snap анонсировали новые Spectacles и приобрели WaveOptics

Ух как, сразу же две сногсшибательные новости!

Новые Spectacles имеют двойные дисплеи с полем зрения всего 26,3 градуса. Это гораздо более узкое поле зрения, чем у гарнитур дополненной реальности, таких как HoloLens 2 (52°) и Magic Leap One (50°). Тем не менее, очки в 4 раза ярче HL2 и в 10 раз ярче Magic Leap 🚀

Выпуск устройства не обошелся без компании WaveOptics, которая разработала эти дисплеи. Snapchat заявили о приобретении данной компании более чем за 500 миллионов долларов 😨

Spectacles оснащены небольшой батареей, которой хватит на 30 минут работы устройства. При этом вес устройства всего 134 грамма ( HL 2 весит 566 грамм, а Magic Leap 345 грамм ).

Очки интегрируются с существующей платформой дополненной реальности Snap. Креаторы могут создавать AR опыт для Spectacles с помощью Lens Studio.

Купить девайс пока не получится, но вы можете подать заявку на Spectacles в качестве потенциального креатора на сайте Snapchat.

AR/VR Designer

⚡️Автомобильная XR-платформа Holoride

Нашел очень интересный VR проект, запущенный еще в 2019 году, Holoride.

Holoride использует машину как средство для дополнения опыта виртуальной реальности. Внезапное снижение или разгон, резкие повороты, да и в целом сам процесс езды влияет на VR опыт.

Уровни генерируются на основе выбранных маршрутов, а также общей продолжительности поездки. Это означает, что нет двух одинаковых путешествий 👀, несмотря на то, что каждое из них заканчивается, как только пользователь достигает места назначения.

Буквально пару дней назад Holoride объявили о запуске своей блокчейн экосистемы. Эта система не только предлагает пассажирам новую форму интерактивных развлечений, но и гарантирует справедливое вознаграждение создателей контента за их работу. Куда же без NFT 😅 Да, да, Holoride также видит возможность интегрировать NFT в свою экосистему для обмена цифровыми предметами, их можно будет передавать и обменивать между пассажирами.

AR/VR Designer

⚡️Facebook анонсировали новые возможности Spark AR

Facebook анонсировали две новые AR фичи для Instagram, включая мультиклассовую сегментацию и улучшенный target tracking, которые теперь доступны в версии 114 Spark AR Studio.

🔥 Мультиклассовая сегментация

Креаторы теперь могут комбинировать несколько текстур сегментации, включая волосы, кожу и человека, вместе в одном эффекте. Facebook также упростил управление несколькими свойствами текстуры, такими как мягкость краев, которая создает контур вокруг человека в сцене, и размер маски, который регулирует размер контура.

Эта новая возможность позволит создавать более сложные фильтры, начиная от фильтров персонажей и заканчивая высококачественными фильтрами одежды.

Документация здесь.

🔥 Обновлённый target tracking

Instagram и ранее мог распознавать изображения, но теперь он может распознавать несколько изображений одновременно! Что открывает новые возможности для креаторов.

Документация здесь.

AR/VR Designer

⚡️ Skydio 3D Scan

Skydio занимаются разработкой крутых коммерческих и потребительских дронов уже не первый год и буквально пару дней назад они анонсировали свой новый продукт, Skydio 3D Scan.

Используя свой движок Skydio Autonomy, дроны могут самостоятельно создавать и оптимизировать схемы полета. Это означает, что операторы дронов любого уровня квалификации теперь могут выполнять более качественное картографирование территорий, инспекции физических объектов и реконструкцию мест происшествий или аварий в рекордные сроки и с минимальным обучением 🚀

Больше информации в статье от Skydio.

Также советую посмотреть их видео презентацию.

AR/VR Designer

🚀 Недельный отчет по патентам в сфере AR/VR

Dispelix:
• Diffractive Element with Doubly Periodic Gratings - lnkd.in/dwAqR8h

Envisics:
• Pupil Expander - lnkd.in/dY7s2pA

Hitachi-LG:
• Light Guide Plate, Method and Display - lnkd.in/d3Gf6uh

Nokia:
• Display Apparatus and Method - lnkd.in/dC8-JeA

Maxell:
• HMD ( head-mounted display ) Device - lnkd.in/d8KUiZg

Apple:
• Method of Displaying Virtual Information in a View of Real Environment - lnkd.in/drqnf7C

SeikoEpson:
• HMD ( head-mounted display ) - lnkd.in/dkAxaBJ, lnkd.in/duRAPZM, lnkd.in/dEy_UDE

Facebook:
• Foveated Rendering Using Eye Motion - lnkd.in/dJaPr-d
• Managing Thermal Resistance and Planarity of a Display Package - lnkd.in/dWy2zSK

Все это говорит об активной работе гигантов в сфере AR/VR, но по большей мере в направлении физических AR девайсов.

AR/VR Designer

🚀 Laser AR Hud Design Solution от FIC

Наткнулся на классную демку от компании из Тайвани, FIC.

Они даже забрали Innovation Awards на CES в 2021, но я как-то упустил это из виду. Так вот, они занимаются разработкой HUD для автомобилей!

Их устройство использует технологию оптического проецирования для отображения информации о транспортном средстве, такой как ADAS, навигация, ограничения скорости, скорость автомобиля, предупреждения о дорожном движении и др.

Водитель может перемещать взгляд с приборной панели на дорогу впереди, что позволяет водителю сосредоточиться на безопасности вождения.

Вроде их технология решает некоторые проблемы рассеивания тепла, с котором сталкиваются похожие технологии, TFT (Thin Film Translator) и DLP (Digital Light Procession).

Вот пару дней назад запостили еще одну демку, видимо и дальше работают над продуктом. Ну, успехов 🙌🏻

AR/VR Designer

🚀Apple WWDC 2021

• Object Capture - новый решение от Apple для фотограмметрии 🙈

• Augmented Reality и 3D для Apple Maps - добавили возможность прокладывать маршрут в AR и рассматривать архитектурные сооружения в 3D.

• Усиление звука и пространственный звук для AirPods. Теперь вы можете лучше расслышать собеседника, просто фокусируясь на нем.

• Live Text (OCR) and Visual Look Up (Visual Search). Визуальное определение и перевод текста по фотографии, прямо в вашей камере на iPhone ⚡️А также визуальный поиск по фото, то есть 'object recognition'.

• Auto Translate - переводите текст где угодно, просто выбираете текст и язык перевода 🤘🏻

• Siri on-device AI ( Security Update ) - все разговоры с Siri будут оставаться на устройстве, а распознавание будет происходить за счет встроенных нейронок. Кул, че 👀

• Universal Control - теперь вы можете просто поставить свой iPad рядом с Mac и использовать его как дополнительный экран, без каких либо дополнительных действий 🔥

AR/VR Designer

👀 Подробнее про Object Capture

В этом видео немного больше технической информации об использовании Object Capture и пару крутых примеров.

Как мы видим, всего в несколько строчек кода Object Capture интегрируется в приложения для iOS и iPad OS. Мы можем управлять уровнем детализации, что тоже будет интересно потестировать.

Конечно же, вскоре появится API для использования Object Capture в Unity и Unreal приложениях.

Ну что, пора генерить крутые идеи и запускать стартапы 😍🚀

AR/VR Designer

🚀 И еще подробнее про Object Capture

Это еще более подробное видео об использовании Object Capture. Затронуты темы:

• Создание 3D контента

• Полезные советы по работе с Object Capture и USDZ, чтобы добиться хорошего качества модели и ее отображения в AR

• Использование сканов с Reality Composer

• Интеграция с AR Quick Look в приложении или на веб-сайте

• Крутые кейсы применения AR Quick Look в искусстве, e-commerce и образовании

AR/VR Designer

⚡️Цифровая копия Бонна, Германия

Руководитель по землеустройству и геоинформации Бонна, Йохен Вагнер, предоставил цифровую копию города.

Судя по его комменариям, в будущем будет поступать все больше и больше данных. На автобусных остановках будут храниться расписания, а деревьям будет назначена информация, которую инспектор получил во время своего обхода. Могут сохраняться даже движения холодного воздуха.

«Мы могли бы смоделировать, как зелень будет расти и выглядеть через 30 лет. Что касается будущих строительных проектов, мы будем их анализировать, чтобы понять, какое влияние здания окажут на окружающую среду»

У руководителя по цифровым технологиям Бонна, Фридриха Фусса, уже есть планы и наработки по интеграции дополненной реальности в этот проект.

В целом качество прорисовки весьма хорошее, можно даже увидить людей на балконах 🙈 Но сам процесс прорисовки занимает некоторое время, основываясь на вашем Field of View.

Попробовать можно здесь: https://3d.bonn.de/

AR/VR Designer

⚡️Интерактивный визуальный опыт от Giantstep

Южнокорейская компания Giantstep, занимающаяся креативными технологиями, на этой неделе представила новую инсталляцию на заказ крупнейшей корейской сталелитейной компании, POSCO.

Это массивная светодиодная башня, высотой 9 метров, демонстрирует «процесса обработки железа» в восьмиминутном интерактивном опыте, с использованием комбинации real-time технологий, визуальных эффектов, проекционного отображения, стереоскопического звука и множество других визуальных элементов.

Посетители также могут взаимодействовать с самой средой. В предоставленном видео мы видим, как пол буквально реагирует на присутствие посетителей, когда они ходят по постоянно меняющемуся пространству.

Iron Civilization находится в Park1538, новом культурном пространстве рядом с Историческим музеем POSCO ( Pohand, South Korea ).

Как по мне, получился очень эффектный опыт взаимодействия с потребителями.

AR/VR Designer

🚀 Google запустили приложение WifiRttLocator

Google уже давно работает над технологиями локального обнаружения, которые приложения Android могут использовать для определения местоположения внутри помещений. И буквально недавно Google выпустила приложение WifiRttLocator в Play Store.

Wi-Fi Round Trip Time позволяет вашему устройству измерять расстояние до точек доступа Wi-Fi с поддержкой RTT. Это полезно для определения местоположения в помещении, где GPS не слишком точен (или даже не доступен), что в свою очередь очень юзабельно для AR навигации. Google WifiRttLocator работает с точностью до 1-2 метров.

Чтобы запустить эту систему, вам понадобится телефон Android с поддержкой Wi-Fi RTT (802.11mc), т.е. устройство с Android 10+. Вам также понадобится как минимум три устройства Google Wifi, потому что они поддерживают IEEE 802.11mc. Наконец, необходим подробный план здания, в котором вы его устанавливаете, с указанием широты / долготы каждого маршрутизатора Wi-Fi.

Пока что поддержка IEEE 802.11mc не очень распространена, но это вопрос времени. В любом случае эта технология имеет хорошие перспективы в сфере AR навигации, так что будет следить за ее развитием.

Руководство пользователя: https://g.co/wifirtt/locator-user-guide
Пример плана этажа: https://g.co/wifirtt/example-house-floorplan
Пример файла конфигурации: https://g.co/wifirtt/example-house-config

AR/VR Designer

🚀 Навигационная система с дополненной реальностью от Cadillac

Все больше и больше производителей авто смотрят в сторону интеграции иммерсивных технологий. Ряды пополняет компания Cadillac с собственной навигационной системой AR, представленной в новом Cadillac Escalade 2021 года.

Маршрут транслируется прямо на изогнутую 38-дюймовую приборную панель, которая размещена за рулем.

В дополнение к визуальным индикаторам навигационная система также использует звуковые подсказки. Чем ближе вы подходите к повороту, тем громче становится звук.

В целом ничего особенного, никакой прорывной технологии, но все же каждый раз приятно видеть подобные интеграции в автопроме.

Однозначно демка от компании FIC выглядит круче, о ней я рассказывал раньше в этом постике.

AR/VR Designer

⚡️Snap интегрирует AR линзы и Bitmojis в Viber

Ух ты, инновации пришли оттуда, откуда никто и ожидать не мог 😱

Очень серьезное партнерство, в котором выигрывают обе стороны. Чего же от него ожидать пользователям?

На запуске Snap обещают 30 новых линз «Viber», включая фильтры и маски, а также интеграция Bitmoji с помощью «символов Viber». Планируется, что каждый месяц будет выпускаться от 50 до 70 новых линз, а к концу года будет выпущено не менее 300 линз.

На самом деле для Snap это серьезная возможность проложить путь для пользователей Viber в светлое будущее AR технологий. Так что ждем контента от наших бабушек и дедушек с AR фильтрами 😍

Также весьма интересно будет понаблюдать за изменениями рынка, ведь подобные партнерства могут значительно повлияют на конкуренцию с такими игроками, как Facebook и Apple.

AR/VR Designer

🚀 8th Wall запускает глобальную WebAR сеть, предназначенную для связи брендов с креативщиками

С 2016 года 8th Wall помогает своим пользователям создавать опыт в дополненной реальности, который можно запустить прямо из вашего браузера! Подобные проекты значительно упростили доступ к AR.

Мы ранее рассказывали подробнее об 8th Wall и его фичах, в общем продукт достаточно мощный.

И сейчас ребята делают еще один важный шаг для развития сферы WebAR, запуская партнерскую сеть, с помощью которой бренды смогут находить исполнителей. У каждого исполнителя и бренда будет своя собственная страница, где они смогут пошэйрить свои работы.

Бренды уже сейчас могут присоединиться к партнёрской программе здесь.

AR/VR Designer

🚀 Google добавляет в Google Meet фильтры, AR маски и эффекты

Google твитнули, что Google Meet получает новые видеофильтры, эффекты и маски дополненной реальности для личных звонков на iOS и Android. Google не добавляют подобные штуки в корпоративные звонки, дабы ограничить людей от непрофессиональной коммуникации.

Все это очень похоже на то, что Google ранее выкатил для своего приложения Duo. Исходя из инсайтов от 9to5Google, компания в целом планирует закрыть проект Duo, так что все логично.

AR/VR Designer

⚡️Rokid Air, 4K AR Glasses with Voice AI

В июле компания Rokid выходит на Kickstarter со своим новым устройством, Rokid Air.

Rokid Air предлагает разрешение 4K с углом обзора 43º, это сопоставимо с просмотром экрана диагональю 120 дюймов с расстояния в несколько метров.

Rokid Air совместимы со всеми устройствами (Android и IOS, ПК, PS4, Xbox, Switch).

Для управления устройством не нужно покупать дополнительные контроллеры. После подключения к Rokid Air ваш девайс станет тачпадом.

С помощью шумоподавляющего микрофона и технологии распознавания голоса, Rokid Air cможет четко улавливать ваш голос и ваши команды.

На текущем этапе устройство доступно по super early bird условиям, всего за 1$ вы можете зафиксировать за собой прайс в 319$.

Звучит все интересно, странно только то, что на сайте Rokid нет никакой информации об этом устройстве. Возможно просто создают интригу 🤔 Будет видно.

Больше информации здесь: https://www.ogadget.com/x/rokid-air

AR/VR Designer

🚀А вот и запуск Rokid Air на Кикстартере

Буквально вчера мы писали об этом устройстве и планах запуска на Кикстартере.

Сразу о нюансах, очки без камер, только гироскоп. То есть как таковой дополненной реальности от них ожидать не стоит, просто фиксированная картинка, т.е. «виртуальный дисплей».

С разрешением тоже поправка, 2 линзы, каждая по 1080p.

Прайс все тот же, 319$. В целом этот девайсе дешевле, чем тот же Nreal Light за 799€, но значительно уступает по своим возможностям.

Проект на Kickstarter

AR/VR Designer

Новости из мира нейроинтерфейсов (Brain-computer interfaces). Facebook Reality Labs совместно с Университетом Сан-Франциско впервые продемонстрировали, что лишенный речи (парализованный) человек может почти мгновенно передать свои слова, только лишь подумав о том, как он их говорит.

Обошлось не без ограничений. Прибор на голове регистрирует нейронную активность мозга и декодирует ее в слова. Сам прибор — это электрод, имплантированный в череп (да, типа того, что Илон Маск продвигает). Набор распознаваемых слов ограничен — их всего 50, но их них можно составить более тысячи предложений. Точность декодирования 74%, а скорость 15 слов в минуту, что довольно неплохо.

Это первый в своем роде эксперимент, когда активность нейронов коры головного мозга парализованного человека была декодирована в полные слова. До этого похожие эксперименты работали только на человеке, который действительно вслух произносил слова (то есть он не был парализован).