近日，美国专利商标局公布了苹果公司一项新专利，该专利涉及用于HMD的手部及眼动追踪技术。
用于与3D环境互动的图形用户界面
苹果公司的专利涉及具有显示生成组件和一个或多个输入设备的计算机系统，提供计算机生成现实（CGR）体验，包括但不限于通过显示器（如混合现实头显）提供VR和MR体验的电子设备。该专利的一个关键方面侧重于手部及眼动追踪技术。
图源：patentlyapple
苹果公司的专利图1是一个框图，说明了用于提供CGR体验的计算机系统的操作环境；图4是一个框图，说明了计算机系统的手部追踪单元，该单元被配置为捕捉用户的手势输入。Xbox Kinect设备曾通过PrimeSense技术将手势追踪用于台式机和电视机，但苹果公司收购了PrimeSense，该技术将被用于他们未来的HMD和手持设备。
苹果公司的专利图5是一个方框图，说明了计算机系统（HMD）的眼动追踪装置，该装置被配置为捕捉用户的注视输入。
图源：patentlyapple
苹果公司的专利图6是一个流程图，说明了闪烁辅助的注视追踪管道的流程图。
除了提供手部及眼动追踪技术的基础之外，该专利还深入探讨了与3D环境的交互。苹果公司指出，具有显示生成组件的计算机系统提供了改进的方法和界面，用于与三维环境交互，并促进用户在与三维环境交互时使用计算机系统，从而提高这种系统的有效性、效率和用户安全及满意度。
这样的方法和界面可以补充或取代传统的三维环境交互方式，并促进用户在与三维环境互动时对计算机系统的使用。
在一些实施例中，计算机系统根据与用户相对应的生物识别数据，改变向用户呈现计算机生成的体验（例如，视觉体验、视听体验、VR体验、AR体验等）的沉浸程度。
当用户调整他们的身体和情绪状态，例如，主动或在计算机生成的内容的影响下，在计算机生成的体验开始后，计算机系统可以检测到对应于用户的生物识别数据（例如，心率、血压、呼吸率等）的变化。根据生物特征数据相对于与不同沉浸程度相关联的各组预设标准的变化，计算机系统增加或降低向用户提供计算机生成的体验的沉浸程度，例如，通过改变虚拟内容相对于物理环境表示的视觉突出度（例如，通过增强复杂性、空间范围和/或虚拟内容的视觉特性，和/或降低物理环境表示的视觉清晰度、模糊半径、不透明度、色彩饱和度等）。
基于与用户相对应的生物识别数据的变化，调整向用户提供计算机生成的体验的沉浸程度，有助于计算机系统在沉浸程度较低和较高的体验之间提供更平稳的过渡，更好地对应于用户对计算机生成的体验的感知状态，从而减少用户的混淆感，提高由计算机生成的体验的整体效果。
想要了解更多专利细节，请查阅苹果公司的授权专利US 11562528 B2。
来源：patentlyapple
