Новый пакет Unity XR Hands добавляет отслеживание рук через OpenXR

Мало кто будет отрицать, что смысл VR состоит в том, чтобы подражать реальному миру до такой степени, что пользователь даже не осознает, что находится в виртуальной среде. Хотя мы все еще далеки от этой идеи, каждая новая функция и обновление — это шаг вперед, а последний выпуск Unity дает возможность добавить отслеживание рук без необходимости использования сторонних комплектов разработчика программного обеспечения (SDK), чтобы иметь возможность сделать это.

Не ошибитесь; это большое дело, и это значительно повлияет на то, как разработчики создают игры и приложения, и приведет к общему повышению реализма. Импорт интеграции Oculus был необходимым условием для добавления поддержки отслеживания рук без контроллера в Quest в прошлом. В дополнение к добавлению префабов и образцов эта интеграция также добавляет множество других уникальных функций. Однако, несмотря на то, что он основан на OpenXR, отслеживание рук Oculus Integration использует запатентованное расширение и расположение костей суставов рук, которые не являются отраслевым стандартом. Это означает, что разработчик может создавать новые системы, использующие функции отслеживания рук, не полагаясь на отдельный программный пакет для обеспечения правильной работы.

Термин «отслеживание руки» относится к процессу, в котором камеры на гарнитуре, массиве LiDAR или внешних сенсорных станциях отслеживают положение, глубину, темп и ориентацию вашей руки. После сбора и анализа этих данных отслеживания результаты переводятся в виртуальное представление ваших рук и движений, которые они совершают в виртуальном мире, в режиме реального времени. Затем это представление отправляется в приложение или видеоигру, в которую вы сейчас играете, что позволяет вам взаимодействовать с миром с помощью рук естественным и интуитивно понятным образом. Как правило, отслеживание рук работает одним из двух способов:

— Отслеживание наизнанку. Отслеживание наизнанку — это тип отслеживания, который уникален для автономных гарнитур виртуальной реальности и исходит от самой гарнитуры. Чтобы это работало, гарнитура должна быть оснащена либо серией камер, либо датчиками LiDAR, и один из них должен отслеживать положение ваших рук по отношению ко всему остальному. Эта информация затем обрабатывается в необработанные позиционные данные. Отслеживание наизнанку работает аналогично маяку в том смысле, что трехмерное представление мира должно быть создано только с одного направления. Это приводит к снижению качества и точности отслеживания по сравнению с отслеживанием снаружи внутрь, но освобождает владельца от требования оставаться в определенной «зоне отслеживания».

— Снаружи внутри отслеживания. Системы называются отслеживанием снаружи, когда процесс отслеживания осуществляется несколькими внешними датчиками — обычно с использованием технологии LiDAR или ИК — которые собираются вместе, чтобы сформировать «зону отслеживания». Благодаря отслеживанию снаружи и внутри можно получить гораздо более точное представление о положении и движениях человека, включая его руки, с использованием данных как с гарнитуры, так и с любых имеющихся внешних датчиков. Поскольку ваши руки отслеживаются под разными углами одновременно, гораздо проще вычислить трехмерную карту ваших рук в зоне отслеживания. Это приводит к более реалистичной интерпретации; однако необходимость внешнего оборудования делает систему гораздо менее удобной.
Пользователи могут взаимодействовать с виртуальными объектами и средами, используя свои руки, когда отслеживание рук реализовано в системах виртуальной реальности. Хотя эту технологию легко использовать в реальном мире, она чрезвычайно сложна при применении в виртуальной среде. Когда эта цель достигнута, пользовательский опыт виртуальной реальности становится более захватывающим, а виртуальная реальность становится более привлекательной.

Пакет XR Hands, который в настоящее время находится в предварительной версии, позволяет отслеживать руки, используя как подсистему XR по умолчанию, которую предоставляет Unity, так и OpenXR. Это указывает на то, что его можно использовать в сочетании с другими стандартными системами, такими как XR Interaction Toolkit. Quest и HoloLens в настоящее время поддерживаются XR Hands, и Unity планирует добавить поддержку дополнительных гарнитур OpenXR, которые включают отслеживание рук.

В связи с тем, что пакет все еще находится в предварительной версии, вам необходимо будет вручную добавить его в свой проект. Кроме того, Unity рекомендует вручную обновить манифест пакета до OpenXR 1.6.0, а пользователям включить расширения отслеживания рук в меню OpenXR. Ниже приведен скриншот соответствующих пунктов меню в OpenXR. Отметьте, если требуется, чтобы начать.

Возможность легко включить отслеживание рук значительно повышает производительность и не только упрощает работу с вашими разработками, но и делает их более реалистичными, так что погрузитесь и начните экспериментировать.