摆脱手柄束缚：ToF传感技术让XR交互更自由

一、技术背景与发展趋势

在当前的XR（虚拟现实、增强现实和混合现实）应用中，物理形式的手柄控制器仍作为一种基础的交互方式被广泛使用。然而，物理手柄在高临场感的沉浸式XR应用场景下，需要用户进行适应性学习，其存在操作复杂度高、成本高等先天缺陷。

为增加XR交互的流畅性及沉浸感，香港光云科技（HKSC）于近期推出一项凝聚其多年技术积累的创新性XR交互解决方案——TrueToF® Neural Gesture。它基于Time of Flight（ToF）传感器信号和深度学习来解析用户的精细手部动作，能够在无需手持外设下实现精准手势控制。

该方案充分发挥信号的优势，具有高精度、低延迟等诸多技术优势，为XR应用提供一种更自然、沉浸的交互体验，同时结合了香港光云科技（HKSC）最新的 3D语义理解技术，可以准确识别用户手势信息所表达的行为意图，为各类应用场景提供丰富的用户动作属性标签。例如，在教育领域，学生可以通过手势直观地操控虚拟实验装置；在娱乐领域，游戏玩家能够更自然地与虚拟角色互动；在设计领域，专业人士可以轻松地编辑、调整3D模型等等。相较于传统XR设备的手柄控制器， TrueToF® Neural Gesture能够为更多用户带来创新的XR体验，使用户能够更加轻松地探索和享受虚拟世界，无需手持的的物理外设，同时降低设备成本。

“Training data is Technology” OpenAI首席科学家及联合创始人Ilye Sutskever阐明了精准的训练数据在大模型训练中的重要性。然而在3D空间对手部关节进行精准跟踪，必然需要大量的3D信号数据及其信号空间真值标注。HKSC构建了专业3D数据库—TrueToF® 3D 手势基础Dataset，包含高质量的ToF 3D 信号的RAW数据以及高精度的3D标注数据。其中，3D手势超过10,000种，可供训练的案例超过100,000种，据此其开发了高精度3D手势识别方法。与传统数据集相比，TrueToF®手势训练库中的数据具有精准的3D空间信息，尤其是深度Z轴上的真值数据。TrueToF® 3D Dataset的建立，可以为AI学习提供更加准确、可靠的数据标注，为3D手势识别技术的发展提供有力的支撑。

TrueToF® Neural Gesture数据库部分手势数据

二、TrueToF® Neural Gesture

TrueToF® Neural Gesture是一种基于TrueToF® Neural IP底层成像及3D语义技术的高精度3D手势识别方案。它够在三维物理空间中实现用户手部姿态的高精度追踪，增强现实及虚拟现实下的用户交互体验。与传统手势识别技术及行业内主流方案相比，TrueToF® Neural Gesture具有以下技术优势：

· 高响应：基于信号的直接处理

· 高精度：支持双手21个关节点的<1mm精度跟踪

· 3D准度：精准测量传感器与手部各关键点之间的3D距离

· 角度精度：可扩大手势角度精度范围2倍以上，并提升角度分辨率至0.5°

· 稳定性：在正常光照和低光环境下，手掌检测的稳定性更好

· 可靠性：在户外环境和低光环境下检测及跟踪稳定，可适应不同应用场景

TrueToF® Neural Gesture在性能方面表现出色，与业界公认的Mediapipe等手势识别方案的关键性能指标上对比如下：

关键性能指标对比

TrueToF® Neural Gesture现已支持多种手势控制：

1. Gesture Pointer：该手势类似传统的激光指针方式，允许用户用任一手指向并操控虚拟物体。通过TrueToF®技术捕捉手部动作，用户可以轻松地执行这一操作。

2. Controller Pointer：该手势允许用户用双手以虚拟方式体验传统物理手柄控制器的操作。TrueToF®技术可以识别用户的双手动作，并将其转化为虚拟世界中的控制信号。

3. Poke Pointer：该手势允许用户用任一手指（缺省为食指）“戳”虚拟物体，进行精确的选择和操作。TrueToF®技术能准确捕捉这类手势，实现细致的交互。

4. Grab Pointer：该手势允许用户能够用单手抓取和移动虚拟物体，模拟真实世界中的抓取行为。TrueToF®技术捕获手部动作，并实现自然地抓取操作。

通过上述交互式手势响应，TrueToF® Neural Gesture为用户提供了丰富、自然的XR交互体验，将虚拟世界的操作与现实生活中的行为深度融合。同时，该团队也在不断扩充新的手势定义以及自定义手势的接口，以便用户能以更多丰富且自然个性的方式，与虚拟世界中的物体进行沉浸式交互。

三、TrueToF® Neural Gesture的特点

TrueToF® Neural Gesture能够为用户带来一种自由、高精度、低延时的交互体验，源于其技术的多方面优势：

1. 无束缚：TrueToF® Neural Gesture为AR设备提供物理手柄替代方案，用户可通过自然手势控制数字环境，提高便捷性和实用性。

2. 低功耗：基于Qualcomm平台，千次AI推理功耗仅为1.53 mWh，实现高性能手势识别的同时，也可有效延长消费电子产品的使用时间。

3. 高精度：基于AI技术重构的ToF成像流程，空间定位误差<1mm，保证XYZ三轴<1mm精确度，可为终端应用提供准确交互数据支撑。

4. 3D可度量：TrueToF® Neural Gesture AI模型基于3D数据库训练，实现手部关节XYZ三轴0.5°旋转精度度量，适应第一视角应用场景，可克服传感观测视角约束。

5. 低延时：采用Hexagon DSP优化的<12ms的AI推理模型，保障实时交互需求，可应对高速动作和复杂场景。

四、TrueToF® Neural Gesture Benchmark 

4.1 暗光测试：

暗光测试是在较暗环境中对手势识别技术的性能进行评估。传统的RGB手势识别方案的性能在这种环境下往往会受到较大影响。得益于优秀的TrueToF® Neural IP信号成像能力，TrueToF® Neural Gesture技术在暗光环境下表现出较高的稳定性，对各类复杂室内光线条件不敏感，这不仅有助于提高手势识别精度，还可增强对光线变化环境下使用的鲁棒性。

TrueToF® Neural Gesture的不同光照表现

4.2 室外评测：

室外场景的光线条件更加复杂多变，包括强光、阴影等多种不可控因素。TrueToF® Neural Gesture技术在室外评测中同样表现出较高的稳定性和鲁棒性，能够保证户外环境下的高精度的手势识别需求。

TrueToF® Neural Gesture室外场景表现

通过暗光测试与室外评测可以看出，TrueToF® Neural Gesture在不同光照条件下均表现出优越性能，表明其在各种非限定光照条件的应用场景中能够提供鲁棒、高效的手势识别，可为用户带来优质、稳定且流畅的交互体验。

五、应用场景与未来展望

下一步，TrueToF® Neural Gesture技术将不断优化和创新迭代，努力提升手势估计与识别的适配性及稳定性，同时引入更多AI算法不断提高手部关节识别的精度和语义识别。HKSC相信3D语义等技术创新将持续为XR、Metaverse、AIGC、Autonomous driving等更多场景提供基础应用支撑，TrueToF® Neural Gesture技术也将在更广泛的数字信息领域发挥潜力，为用户带来更加智能、便捷的生活体验。

关于香港光云科技（HKSC）

香港光云科技以“用光连接智能世界”为公司愿景，其创新技术TrueToF®曾获得“高通2021 AI创新应用大赛”第一名。作为专业的ToF Neural IP供应商，现已被全球众多ToF芯片公司认证为专业合作伙伴。

HKSC致力于提供基于ToF Neural IP的授权与导入等系列服务，加速消费级3D传感产品开发，让终端链能以更加快捷简便方式接入AIGC应用。