昨天,美国专利商标局正式公布了苹果公司新获授权的 71 项专利。在其中,有一项与Apple Vision Pro 有关的名为“Glint-Assisted Gaze Tracker(闪烁辅助视线追踪器)”的授权专利。
闪烁辅助视线追踪器
苹果公司获得的这项专利涉及 VR/AR 头戴式显示器 (HMD) 中闪烁辅助视线追踪的方法和装置。注视追踪摄像头捕捉到的图像可以输入到闪烁检测程序和瞳孔检测程序,例如由 HMD 控制器的一个或多个处理器实现。
闪烁检测程序可检测图像中的闪烁,并将闪烁信息传递给瞳孔检测程序,其中检测到的闪烁可用于检测瞳孔位置和轮廓。闪烁信息还可由闪烁检测程序传递给闪烁 LED 匹配程序,该程序可将检测到的闪烁信息与注视追踪系统的特定发光元件相匹配。闪烁-LED 匹配过程(检测到的闪烁和 LED 对应)和瞳孔检测过程(检测到的瞳孔椭圆)的结果被传递到注视估计过程,例如由控制器的一个或多个处理器执行,以估计用户的注视点。
在注视估计流程中,3D角膜中心估计流程根据检测到的闪烁和 LED 对应以及代表特定用户眼睛参数的用户校准数据,在3D空间中估计用户的角膜中心。3D瞳孔中心估算流程根据检测到的瞳孔椭圆、用户校准数据和角膜中心估算流程的输出结果,估算用户瞳孔在3D空间中的中心位置。
光轴重建流程根据角膜中心估计流程和瞳孔中心估计流程的输出,在3D空间中重建用户眼睛的光轴(连接角膜中心和瞳孔中心的轴线)。视轴重建流程根据光轴重建流程和用户校准数据的输出,在3D空间中重建用户眼睛的视轴(连接眼窝和角膜中心的轴线)。扭曲显示点估算流程根据视轴重建流程的输出和特定设备的 HMD 校准数据估算 HMD 显示屏上的一个点(注视点)。
苹果专利图 3A、3B、3C 和 3D 显示了实施注视追踪系统HMD的示例侧视图和正视图。
图源:patentlyapple
苹果专利图 9A 至图 9C 以图形方式展示了图像空间中的闪烁 LED 匹配;图 11A 和图 11B 展示了图像空间中的闪烁匹配方法与在3D空间中应用闪烁几何匹配方法时的结果对比示例,以使用图像空间中的闪烁匹配方法检测和纠正潜在的不匹配。
图源:patentlyapple
苹果专利图 12A 展示了与 HMD 显示屏相关的人眼模型;图 12B 展示了用于瞳孔中心估计的数学模型;图 12C 展示了用于角膜中心估计的数学模型。
图源:patentlyapple
可查看苹果授权专利 11755106,以了解更多包括专利权利要求在内的详细信息。
来源:patentlyapple