苹果Vision Pro允许用户通过简单的手势控制 visionOS 或与之互动。然而，有时可能需要额外的“控制器”来控制 Apple TV 内容、电子游戏、演示或处理文档图表，为此可以使用手指设备来操作数据。今天，美国专利商标局公布了苹果公司的一项专利申请，涉及在Vision Pro工作区的虚拟触控板上使用手指设备。
苹果公司的发明涉及一种方法，包括通过肢体追踪器获取肢体追踪数据。该方法包括在显示器上显示计算机生成的与物理表面空间关联的触控板虚拟表示。
在Vision Pro的显示屏上，可以看到物理表面以及与计算机生成的触控板表示相分离的内容操作区域。该方法包括根据肢体追踪数据识别计算机生成的触控板表示中的第一位置。
该方法包括将第一位置映射到内容操作区域内的相应位置，以及包括在显示器上显示指示映射的指示器。指示器可与内容操作区域内的相应位置重叠。
电子设备显示指示映射的指示器。例如，根据手指操作数据，电子设备确定手指可穿戴设备正悬停在计算机生成的触控板表示的中心或与之接触。因此，电子设备会在内容操作区域的中心显示一个指示器。通过显示映射指示，电子设备向用户提供反馈，说明在某些实施方案中手指可穿戴设备与内容操作区域接触的情况。反馈减少了电子设备从手指可穿戴设备接收到的错误输入的数量，从而降低了电子设备的资源利用率。
因此，苹果专利中公开的各种实现方式能够让用户有效地参与（例如，操作）内容操作区域内的内容。例如，当手指操作数据显示手指可穿戴设备正在计算机生成的触控板表示上画圆时，电子设备就会在内容操作区域内显示圆的相应表示。因此，与其他设备相比，电子设备在接触内容操作区域时能提供更强的控制力和准确性。
手指可穿戴设备可由用户的手指穿戴。在某些实施方案中，电子设备根据手指操作数据以6DoF追踪手指。因此，即使物理物体遮挡了手指可穿戴设备的一部分，电子设备也能继续从手指可穿戴设备接收手指操作数据。
下面是一系列苹果专利图，展示了电子设备将计算机生成的触控板映射到Vision Pro中的内容操作区域的示例。
图源：patentlyapple
上述专利图中的电子设备与头戴式设备相对应，后者包括一个集成显示屏，用于显示操作环境的表示。
显示数据可由 XR 环境来表征。例如，图像传感器获取表示物理桌 #302 和物理灯 #304 部分的图像数据，生成的显示数据显示在显示器 #312 上，并显示物理桌和物理灯部分的各自表示。
在某些实施方案中，电子设备（HMD）包括透视显示器。透视显示器允许来自物理环境的环境光穿过透视显示器，物理环境的表示是环境光的函数。例如，透视显示器是一种半透明显示器，如具有光学透视功能的眼镜。在某些实施方案中，透视显示器是一种可实现物理表面光学透视的附加显示器，例如光学 HMD（OHMD）。
物理表面（例如，物理桌 #302）可在显示屏 #312 内与内容操作区 #330 一起观看，内容操作区 #330 与触控板 #324 分离。
例如，内容操作区域包括应用内容，如网络浏览器内容、文字处理内容、绘图应用内容等。根据来自手指可穿戴设备 #320 的手指操作数据，HMD 确定触控板与内容操作区域之间的映射。
正如苹果公司所介绍的，苹果Vision Pro用户可以使用虚拟键盘工作，而今天的专利则证实，通过手指设备，用户将可以使用虚拟触控板来操作Vision Pro中的内容。
想了解全部专利细节，请查看苹果公司的专利申请 20230376110。
图源：patentlyapple
