近日，美国专利商标局正式公布了苹果公司一系列共5项专利，涉及可能被纳入MR头显的各种属性。包括被称为"头部里程表"的头部运动传感器、Glint辅助的注视追踪、使用神经网络的基于事件相机的注视追踪等技术。
使用头部运动传感器或"头部里程表"进行眼动追踪
苹果公司第一项专利名为"使用低分辨率图像进行眼动追踪 "，该专利涉及在VR/AR/MR应用中使用被称为"头部里程表"的头部运动传感器进行眼动追踪的各种方法和装置。
提供准确的眼动追踪的一个关键是知道用户的眼睛相对于眼动追踪摄像头的位置。在眼动追踪系统的一些实施方案中，为了准确确定用户的眼睛相对于眼动摄像头的位置，控制器可以执行一种算法，利用眼动摄像头捕获的图像进行三维重建，以生成用户眼睛的3D模型。
眼睛的3D模型表明眼睛相对于眼动仪的三维位置，这使得控制器执行的眼动仪算法能够准确地跟踪眼睛的运动。
专利还描述了用于跟踪设备相对于用户头部的相对运动的方法和设备，其中传感器（在此称为头部运动传感器或头部里程表）被放置在设备内或设备上的一个或多个位置，例如，在用户的耳朵或附近，主要跟踪俯仰，或在鼻梁附近，主要跟踪Y轴运动。
来自头部里程表的信号可用于检测设备相对于用户眼睛的运动。这可以使三维重建仅在检测到设备相对于用户眼睛的移动时进行，从而大大减少眼动追踪系统的功耗。
苹果公司的专利图2说明了一个VR/AR HMD的例子，它实现了一个眼动追踪系统，包括检测HMD相对于用户眼睛的运动的传感器。
图源：patentlyapple
想了解更多专利细节，可查阅苹果公司的授权专利11,442,540。
闪光辅助注视追踪器
苹果公司的专利还涵盖了在VR/AR头戴式显示器（HMD）中进行闪烁辅助注视追踪的方法和装置。注视追踪摄像头拍摄的图像可以输入到闪光检测程序和瞳孔检测程序，例如，由HMD控制器的一个或多个处理器实现。
图源：patentlyapple
闪光检测过程可以检测图像中的闪光，并将闪光信息传递给瞳孔检测过程，其中检测到的闪光可用于检测瞳孔位置和轮廓。
闪光信息也可以由闪光检测过程传递给闪光-LED匹配过程，该过程将检测到的闪光与注视追踪系统的特定发光元件相匹配。闪光-LED匹配过程（检测到的闪光和LED对应关系）和瞳孔检测过程（检测到的瞳孔椭圆）的结果被传递给注视估计过程，例如，由控制器的一个或多个处理器实现，以估计用户的注视点。
图源：patentlyapple
苹果公司的专利图9A至9C以图形方式说明了图像空间中的闪光-LED匹配；图11A和11B显示了图像空间中的闪光匹配方法与在三维空间中应用闪光几何匹配方法，检测和纠正使用图像空间中的闪光匹配方法的潜在不匹配时结果的比较示例。
想了解更多有关这方面的信息，请查阅完整的专利11,442,537。
来源：patentlyapple
