到目前为止,苹果公司已经申请了一系列关于未来空中手势的专利,这些专利中绝大多数都与控制未来的MR头显用户界面有关。而近日,苹果一项新的空中手势专利曝光,该专利涉及用于与Mac电脑进行交互的手势识别系统。
苹果公司在其专利背景中指出,手部动作和其他手势可能涉及相对快速的运动。因此,使用传统基于帧的相机图像的手势识别系统可能缺乏准确性和效率,或者受到这种相机相对缓慢的帧率的限制。
事件相机捕捉每个像素发生的事件,可以提供比许多基于框架的相机更快地捕捉用户运动数据的能力。然而,使用事件相机数据的手势识别系统在试图识别用户的手势时可能面临挑战,因为在一个特定的物理环境中,可能有许多与被跟踪的手势无关的事件。需要分析和解释来自物理环境的潜在大量事件数据,这可能会大大降低这种基于事件相机的手势识别系统快速、有效和准确地识别手势的能力。
苹果公司的发明涵盖了使用事件相机数据子集的基于事件相机的手势识别的设备、系统和方法。在一些实施方案中,通过基于事件相机数据的子集来识别手势。
在一些实施方案中,事件相机数据的子集由具有与事件相机视场(FOV)重叠的基于帧的相机进行识别。
在一些实施方案中,事件相机的视场和基于框架的相机的视场在时间上或空间上是相关的。在一个实施方案中,在具有处理器的电子设备上,事件相机数据由从物理环境中反射的光(例如,红外(IR)光)产生,并在事件相机上接收。
公开的各种实施方案包括设备、系统和方法,这些设备、系统和方法通过跟踪事件相机事件块的分组来识别路径(例如,手的路径)。每个事件相机事件块可以是一个区域,具有在给定时间发生的预定数量的事件。块的分组可以根据分组半径、距离或时间来执行,例如,包括在某一瞬间发生的另一个块的特定三维距离内的块。当块的分组在不同的时间点上重复出现时,跟踪块的分组可能比试图跟踪随时间移动的单个事件更容易和更准确,例如,在不同的时间点上将与拇指尖相关的事件联系起来。
在一些实施方案中,电子设备是包括事件相机的同一电子设备(例如,MacBook)。在一些实施方案中,该设备是一个不同的电子设备,它从具有事件相机的电子设备中接收事件数据,如iMac或HMD。苹果公司的专利图重点介绍了MacBook,如下图所示。
图源:patentlyapple
苹果公司的专利图3是包括手势识别单元#350的系统概述;图6是MacBook的一个示例配置框图,包括事件相机,以跟踪实体(例如,手)的路径。
苹果公司的专利图7A-7B是说明由事件相机检测到的事件和在特定时间检测到的事件的组块的示例图。
想要了解更多细节,请查阅苹果公司的专利申请20220157083。考虑到这是一项专利申请,目前还不知道这种产品的上市时间。