今天,美国专利商标局公布了苹果公司的两项专利申请,涉及 Vision Pro 上的空间视频和空间照片,其内容也可在iPhone 15 Pro上创建。
专利一:XR录制器
苹果公司的这项专利涵盖了主题技术的实现,提供了记录XR体验的系统和方法,这种体验可以在以后从不同的视角或角度回放。
该技术涵盖一种 XR 系统,该系统提供XR内容的录制、存储、编辑、管理和回放,以方便在 XR 环境中从不同的视角重新观看 XR 体验。在一个示例中,在一段时间内捕获关于设备所在物理环境的有时间顺序的3D信息(例如,来自一个或多个深度传感器的深度信息),用于体验的XR录制。
在基本相同的时间段内,视频和/或音频内容(例如,包括空间音频内容)可由设备采集和/或显示。在基本相同的时间段内,计算机生成(CG)的内容被显示在环境视图的一部分上。与该时间段内显示的 CG 内容相对应的内容也被捕获为有时间顺序的 CG 内容,并与有时间顺序的3D信息(例如,包括深度信息)、元数据(包括场景、视频和/或音频的相关信息)一起按时间顺序存储。
与在时间段内显示的 CG 内容相对应的、由 XR 系统捕获的 CG 内容可以包括场景图、在时间段内显示的 CG 内容的3D几何图形、纹理、材质、动画等,和/或如果记录用户在时间段内向场景中的其他方向或位置看的话,在时间段内会显示CG内容的3D几何图形、纹理、材质、动画等,这样就可以从任何角度回放 XR 记录。
在记录期间(如实时或在线)和/或记录之后(如离线),还可以(根据深度信息、视频、音频和/或其他传感器数据)生成物理环境的3D重建,存储3D重建,在某些示例中,还可以存储按时间排序的重建轨迹,与按时间排序的 CG 内容、按时间排序的3D信息、元数据、视频和/或音频在时间上保持一致。
根据苹果公司 iPhone 15 的营销材料,该系统主要是为苹果 Vision Pro 设计的,不过 iPhone 15 Pro 将允许用户在今年晚些时候拍摄“空间视频”。当 Vision Pro 于 2024 年推出时,这些视频将可以在 Vision Pro 上播放。
苹果公司还有趣地暗示,实时 3D 视频可能会在汽车挡风玻璃上呈现。
图源:patentlyapple
苹果专利图 2 展示了一个可以实现的软件架构示例;图 3 展示了根据主题技术的实施方案,电子设备的其他功能。
苹果专利图 6 展示了录制XR体验的示例功能;下面的苹果专利图 5 展示了录制、高级编辑和播放XR体验的各个阶段。高级编辑说明了用户如何在森林拍摄的场景中添加一只虚拟熊。未来,这种简单的 XR 编辑可能会非常有趣。
图源:patentlyapple
如需查看该专利的详细信息,请查阅苹果专利申请 20230298282。
专利二:3D照片
苹果公司的第二项专利涉及设备、系统和方法,这些设备、系统和方法可根据用户在 XR 环境中的观看位置和 3D 照片在 XR 环境中的位置,确定如何在XR环境中呈现3D照片(例如,3D、2D、模糊或完全不呈现)。
在一些实施方案中,可在具有处理器的电子设备上获得3D照片,该3D照片是基于由图像捕捉设备捕捉的一个或多个图像创建的不完整3D表示。在一些实施方案中,确定电子设备相对于 3D 照片放置位置的查看位置,并根据查看位置确定 3D 照片的展示模式。
图源:patentlyapple
在某些实施方案中,根据 XR 环境中的展示模式在放置位置提供 3D 照片。
想了解更多专利详情,请查看苹果专利申请 20230298278。
来源:patentlyapple