首码项目网
苹果未来最重要的产品线之一就是他们的MR头显系列。早在2021年4月，苹果公司的首席执行官Tim Cook就表示AR是 "苹果公司未来的一个极其重要的组成部分"，他想象着AR能被用于健康、教育、零售和游戏领域。
近日，美国专利商标局公布了苹果公司2项与HMD系统有关的授权专利，在其中一项专利中苹果的AR团队可以让杂志或书籍中的静态图像迅速变成一个三维虚拟物体，用户可以在不同层面上进行互动。
苹果公司的专利涵盖了电子系统的各种实施方案以及与各种计算机生成的现实技术有关的使用技术，包括虚拟现实和混合现实（其中包含来自物理环境的感官输入）。特别是，该专利提供了在AR环境中显示对应于电子产品的虚拟对象的技术。电子产品在物理印刷媒体（如杂志、报纸、传单、广告牌、海报等）中被识别，然后在AR环境中显示与该电子产品相对应的虚拟对象。
该虚拟对象包括物理电子产品的一个或多个软件功能（例如，启动顺序、用户界面）。用户与虚拟对象的互动可以使虚拟对象以类似于物理电子产品的方式被修改。例如，用户可以与显示在虚拟移动电话上的用户界面进行互动，其方式类似于在真实世界的物理移动电话的用户界面上进行互动。
图源：patentlyapple
苹果公司的专利图1B说明了系统#100，它包括一个基站#100b（Mac、iPhone或iPad）和一个头戴式设备（HMD）#100c；图2是印刷媒体#200的图像（一本书、杂志、海报等）；图3是一个iPhone/iPad，其显示屏上显示了一本书的图片。
在专利图3中，当iPhone/iPad检测到捕捉到的图像包括对电子产品的描述，如智能手机（204a），就会显示一个图标，表示已经检测到对智能手机的描述，一旦用户点击智能手机图像的显示，就可以显示与智能手机相对应的虚拟三维虚拟物体，图3的#306所示。
然后，苹果公司指出，他们未来的混合现实头戴式设备（HMD）将通过使用眼动追踪跟踪用户的手指来检测用户触摸显示屏上的智能手机图像。一旦HMD确认触摸发生了，HMD将用智能手机的虚拟表现取代iPhone或iPad显示屏上的智能手机照片。
另外，当iPhone/iPad拍摄广告产品的照片时，如印刷杂志中的智能手机图像，它也可以检测到一个二维码，以确定哪个智能手机将被转换为HMD观看者的3D对象。
在专利中苹果公司还表示，用户可能与3D对象软件进行互动。苹果公司将他们的概念又向前推进了一步。他们可以让消费者与3D物体的相关软件进行实际互动。比方说，图像和3D AR对象显示的是带有iOS 24的iPhone 20。用户将能够触摸iPhone显示屏的虚拟3D图像，并实际与iOS 24互动，就像他们在苹果实体店一样看手机的功能是如何工作的。
HMD将允许用户以360°的方式与广告物品的3D对象互动。该图像还可以让用户与该物品的三维版本的操作系统软件进行互动，如智能手机（iPhone，也许是Android手机等）。
为了更清楚地描述该技术，苹果公司指出："如果电子产品#204a是包括软件功能（如用户界面）的物理电子产品的描述，则显示的虚拟电子产品#404a包括软件功能的模拟#410a。仿真的软件特征#410a再现了物理电子产品的软件特征的外观和操作。在一些实施方案中，模拟的软件特征#410a再现了物理电子产品的启动顺序的外观。在一些实施例中，模拟的软件功能#410a是一个预定义的视频，描述了物理电子产品的软件功能的外观和操作。"
图源：patentlyapple
随着HMD的开启，眼动追踪将能够跟随用户指向软件的部分进行互动，如专利图5所示的一个菜单。该菜单显示了一个历史/公司/型号/年份/功能的例子。当然，该菜单会根据产品和广告商想要强调的产品内容而有所不同。
显然，苹果将不得不与他们的开发人员紧密合作，以实现这一目标，因为二维码可能必须专门用于混合现实内容。但以苹果公司的经验，他们会让这个过程变得简单，广告商应该会喜欢这个概念。对于那些不在苹果商店附近的人来说，苹果将使HMD用户很容易与新设备和iOS专业功能进行互动，就像你真的在商店里一样。
苹果这项专利名为 "一种增强现实环境中的电子产品"，归功于Justin Stoyles（工程项目管理领导AR/VR应用和内容）和Michael Kuhn（软件开发经理，2015年通过收购Metaio GmbH来到苹果）。专利显示，这方面的工作始于2017年，即收购Metaio两年后，因此这应该是苹果公司对其未来HMD的原创概念。
近日公布的第二个与HMD相关的授权专利涵盖了通过散光透镜显示图像和跟踪用户眼睛的系统、方法和设备。
苹果公司指出，当在HMD中使用带有散光透镜的目镜，并将显示器移近目镜（以及眼睛）时，目镜和显示器之间几乎没有剩余空间，这使得难以安装眼动追踪系统，如一个或多个光源和一个摄像头。然而，使用选择性失真散光透镜（使来自显示器的光线失真，但不使来自光源的光线失真）可以使眼动追踪系统放置在非常靠近目镜的地方，而不会遇到目镜的失真。
图源：patentlyapple
苹果公司的专利图11B是一个头戴式设备的方框图，根据一些实施方案，该设备的眼动跟踪系统布置在目镜前面；图12是一个HMD设备系统的方框图。
更多技术细节可查阅苹果公司的授权专利11,301,036。
