Мультимодальные взаимодействия для 3D UX-дизайна — Swevens — Medium

кирпичвизуалвр

Эта статья направлена ​​на разработку мыслительного подхода к любому иммерсивному опыту (например, дополненной реальности, виртуальной реальности или смешанной реальности), который вы планируете развивать. Принципы дизайна, которые я буду здесь описывать, должны оказаться полезными при разработке любого иммерсивного опыта.

PS. В статье я буду использовать термин XR в основном. XR — это общая категория, охватывающая все различные формы компьютерно-измененной реальности, включая дополненную реальность (AR), смешанную реальность (MR) и виртуальную реальность (VR).

Мультимодальные взаимодействия

В тот момент, когда кто-то думает о разработке какого-либо опыта в XR, одно из пяти чувств разработчика активируется первым, т.е. зрение. Без сомнения, это самый важный аспект, но перегружать одну сенсорную систему — плохая идея. Пользователи, как правило, лучше работают с мультисенсорным интерфейсом, а именно речь, взгляд и жесты могут быть хорошим сочетанием. Это дает довольно хорошую связь с типом взаимодействия, которое пользователи хотят, взаимодействуя с объектами в виртуальном мире. Идея состоит в том, чтобы сделать интуитивный опыт. Хорошо, что XR мультимодален по своей природе, что делает его таким привлекательным. Давайте обсудим некоторые общие принципы, которые используются при разработке иммерсивного опыта.

В этой статье будут рассмотрены 3 механизма ввода:

• Посмотреть
• Жесты
• Голосовые команды
• 6-степенный контроллер(подробнее об этом позже)
• Перчатки и прямое взаимодействие, например. Прыжок (подробнее об этом позже)

Различные механизмы обратной связи следующие:

• Визуальная обратная связь
• Аудио обратная связь
• Тактильная обратная связь (связанные с 6-степенными контроллерами и вибрацией телефона. Не рассматривается в этой статье)

Посмотреть

Взгляд — очень мощный пользовательский интерфейс. Просто начните долго смотреть на любого случайного человека. Возможны разные исходы —

• Человек может просто проигнорировать и уйти
• Человек может заинтересоваться и подойти к вам
• Человек может начать или прекратить выполнение действия

Эти результаты, если они будут включены в ваш опыт, могут оказаться полезными с точки зрения создания убедительного интерфейса для вашего пользователя. Таким образом, преодолевая разрыв между реальным и виртуальным миром. Тем не менее, взгляд хорошо известен своими возможностями, подобными курсору, в мире иммерсивного опыта. Ниже приведен один из демонстрационных примеров с официального Репозиторий Google VR

Белая точка — это курсор

Взгляните на объект, и он будет выделен. Кроме того, курсор расширяется.

Этот конкретный опыт дает пользователю визуальную обратную связь о том, что есть объект, с которым можно взаимодействовать, и этот элемент активен. Несколько советов по взгляду —

• Объект интереса в окружающей среде, на который вы смотрите, должен находиться на расстоянии не менее 0,5 м в соответствии с рекомендациями Окулус. 1 метр — это удобное расстояние для меню и графических интерфейсов, на которых пользователи могут сосредоточиться в течение длительного периода времени.
• Оптимальный угол взгляда составляет 10–20 градусов ниже горизонта, потому что пользователь обычно склонен немного наклонять голову вниз во время опыта.
• Удержание объекта в фокусе. Если пользователь теряет след объекта, задача разработчика — вернуть его или ее взгляд обратно к объекту, предоставив звуковые или визуальные сигналы. Проверьте Приложение Google ARCore Elements который дает тонкие сигналы и эта секция из официальных руководств по дизайну дополненной реальности от Google.

Хотите глубже погрузиться в принципы взгляда? Ознакомьтесь с рекомендациями Microsoft по дизайну

Жесты

Жесты служат для пользователей простой техникой взаимодействия с виртуальными объектами в смешанной реальности. Идея этого механизма ввода заключается в том, что пользователи склонны много двигать руками, когда они участвуют в иммерсивном опыте. Это просто происходит интуитивно, и поэтому есть несколько значимых жестов, которые включаются, например, знаменитый жест «касание воздуха» для Hololens (изображение ниже).

Жест Air Tap для выбора/отмены выбора объектов в Hololens

Одна вещь, которую следует иметь в виду при интеграции жеста, это усталость рук пользователя. Повторяющийся ввод жестов утомляет пользователя. Дайте пользователю отдохнуть! Нет, серьезно, включение коротких перерывов или предложение сочетания речи и жестов может иметь большое значение для повышения вовлеченности пользователей в ваше приложение.

Хватит заставлять меня постоянно стучать по воздуху!

Несколько рекомендаций по жестам —

• Поднятие руки так высоко, что локоть не касается пользователя, может быть утомительным.
• Люди теряют связь со своим реальным физическим окружением, а неправильные жесты рук могут привести к тому, что они ударятся о стену и, в конечном итоге, попадут в серьезную аварию.
• Руки, которые визуально выглядят реалистично, могут быть жуткими, потому что дают пользователю ощущение, что он находится внутри чужого тела. Поэтому нарушение погружения

Голос

Голосовое (речевое) взаимодействие может повысить эффективность работы. Голосовой пользовательский интерфейс в XR так же прост, как «Посмотри, скажи». Это означает, что если вы смотрите на объект и хотите взаимодействовать с этим объектом, вы мгновенно отдаете голосовые команды. Например) Посмотрите на собаку, скажите «прыгай», и она прыгнет. Вы не скажете «выбранный прыжок собаки». Упрощение речевых интерфейсов с помощью коротких фраз — один из ключевых аспектов принципов проектирования речевых интерфейсов.

Голос может быть несовершенным во многих отношениях. Например, если вы хотите, чтобы громкость динамика увеличилась, вы говорите «громче», но вы не можете сказать «немного громче», потому что это трудно измерить. Иногда голосовая система неправильно слышит команду или не слышит команду. Восстановление после таких ошибок является проблемой в любом интерфейсе. Кроме того, голос может быть социально неприемлемым в общественных местах.

Источник: Документы Майкрософт

Несколько голосовых рекомендаций —

• Предоставьте пользователям надлежащую регистрацию их голоса, когда они принимают участие в опыте. Это называется логированием пользовательского ввода. Посмотрите это видео
• Используйте простую лексику в голосовых командах.
• Убедитесь, что есть способ отменить голосовую команду, чтобы предотвратить любые непреднамеренные действия из-за того, что говорит кто-то другой.
• Протестируйте свое приложение с разными акцентами.

Вывод

Рекомендации, описанные в этой статье, — лишь одна из тем различных принципов UX-дизайна, которые можно применить в этой захватывающей новой области. Скоро будет больше статей!

Дополнительные ресурсы

«Исходя из традиционного опыта проектирования продуктов, где большинство взаимодействий имеет множество устоявшихся и проверенных шаблонов, я нашел самый эффективный способ добиться прогресса и учиться в виртуальной реальности путем проб и ошибок».

• Кристоф Тозиет, команда социальной виртуальной реальности Facebook