即刻App年轻人的同好社区
下载
App内打开
张杰伦
3年前
眼追+手势交互的一点认知理解
手眼交互逻辑里,眼追主要解决的是内容选择的问题(特别是远场内容的选择),当今的XR内容选择方案最多的是射线交互,射线交互需基于手柄,而我们都知道,手柄存在严重的便携性问题,不会有人用AR眼镜还配个手柄的,哪怕是指环等产品,imu不准漂移,交互难以精确都意味着外置设备的射线交互一定不是最适用XR的交互方式,而眼追选择方案符合直觉,快速准确,从现用的设备体验(quest pro、HoloLens)来看眼追的精准度再经过一到两代的迭代即可完全适用toc市场。
手势交互分为三种
1、模拟射线交互,诸如pico4的手势交互逻辑,双指中间射出射线进行选择,双指捏合为点击。实际体验射线飘忽不定,无法精准快速位移到体验糟糕完全没法替代手柄。这是一定会被淘汰的逻辑,不做赘述。
2、三维立体手势,如HoloLens,所有交互逻辑为自然交互语言,看到什么即可做什么,例如按钮,直接手去点击就好,配合振动及音效,体验极佳,几乎没有任何学习成本。
优点:无需任何附加设备
可以实现多种复杂的手势交互
缺点:占用相机和一定的算力功耗
受限相机fov需在fov内交互手势
3、微手势交互,如port6、Applewatch,通过ppg传感器检测微小的手势动作,同时可调用手表imu进行一些其它的交互(例如拟真的旋钮调节音量交互,眼追看向旋钮后,手腕转动即可调节音量)。
port6方案
优点:手处在任意位置均可检测使用
可以将AR眼镜的部分功能分布至手表上
调用IMU可支持一定的诸如凭空开车的能力
缺点:仅能检测双指捏合这一个动作
手表没电了就整体交互失效
佩戴需贴合
用户需多付出一定的金钱成本
手势逻辑虽然简单但仍需经过一定的发力适应才可流畅交互
再简单讨论下XR的近远场交互,xr的近远场交互很像坐在电视前玩手机,近场的交互对象是手机,远场的交互对象是电视机。我们在现实中从手机切换至交互电视有两种方案:一、通过手机APP进行遥控,二、抓取遥控器,使用遥控器来进行遥控。这两种方式均为一个间接的交互方式,都有一个较长的交互逻辑,APP操作要经过多步来进入准确的操作界面,而遥控器,繁多的按钮,可能没电的情况,以及可能找不到的情况都是生活中常见的问题。因此也有厂家加入了语音交互、手势交互的设计。
回到XR的交互,近场的定义可以理解为在6dof情况下使用者不移动时可直接用手交互到的范围,而在这个范围外的即为远场了。近场的逻辑就是玩手机,全面用三维CV手势即可,手势直接完成选择和交互。而远场的内容呢,我认为远场的内容很可能也是和电视一样是一个非高强度交互需求的内容,参照电视当然可以召唤个虚拟遥控器出来遥控,但这就又回到射线交互的逻辑了,最佳的是眼追选择后,三维CV手势或微手势直接可操控,直观、自然、优雅。
所以综上,我认为XR的交互将由微手势+摄像机捕捉三维手势+眼追共同组成,其中微手势为可选项,但加入微手势会显著提高交互效率,且微手势+眼追可能可以形成一种体验不错的打字体验(需验证)。从体验角度来说我强烈推荐直接附赠ppg手环,同时开发各种多功能手戴设备供用户选购。
21

来自圈子

圈子图片

虚拟与混合现实小组

211808人已经加入