上个月,美国专利商标局公布了苹果公司的一项专利申请,该专利涉及压缩和解压3D容积内容,如点云、沉浸式视频等,并生成元数据,使视口自适应流和/或渲染部分3D容积内容。苹果公司的这项专利将更受VR开发者和工程师的重视。
苹果公司的专利指出,随着数据采集和显示技术越来越先进,捕捉3D容积表征的能力也越来越强,如点云、沉浸式视频内容等,包括3D空间中的数千或数百万个点。
此外,显示技术,如VR或AR系统的发展,也增加了容积表示法的潜在用途,如点云、沉浸式视频等。
然而,容积内容文件通常非常大,并且可能在存储和传输时成本很高,很费时间。例如,通过私人或公共网络(如互联网)通信容积点云或沉浸式视频内容,可能需要相当多的时间和/或网络资源,这样,容积数据的一些用途,如实时用途,可能受到限制。
另外,容积点云或沉浸式视频内容文件的存储要求可能会消耗存储此类文件设备的大量存储容量,这也可能限制使用容积点云或沉浸式视频内容的潜在应用。
在一些实施方案中,编码器可用于生成三维容积测量表示的压缩版本,以减少与存储和传输大型容积测量点云或身临其境视频内容文件相关的成本和时间。
在一些实施方案中,系统可以包括一个编码器,该编码器可以压缩容积点云或沉浸式视频内容文件的属性和/或空间信息,以便该文件可以比未压缩的容积点云或沉浸式视频内容更快地被存储和传输,并且已压缩的文件可以比未压缩的容积点云或沉浸式视频内容占用更少存储空间。
在一些实施方案中,这种压缩可以使三维容积信息通过网络实时或接近实时地进行交流。
在一些实施方案中,系统可以包括一个解码器,该解码器通过网络从远程服务器或其他储存一个或多个容积点云或沉浸式视频内容文件的存储设备,收一组或多组容积点云或沉浸式视频内容数据,其中包括压缩的属性信息。
关于未来的苹果头显,例如,三维显示器、全息显示器或头戴式显示器可被实时或接近实时地操纵,以显示由容积点云或沉浸式视频内容代表的虚拟世界的不同部分。
为了更新三维显示器、全息显示器或头戴式显示器,与解码器相关的系统可以根据用户对显示器的操作从远程服务器请求数据,而数据可以以观看区域的形式从远程服务器传输到解码器,并由解码器实时或近实时解码。然后,显示器可以用响应于用户操作的更新数据进行更新,例如在一个给定的观看区域内的更新视图,或者可以请求另一个观看区域并传输给解码器。
在一些实施方案中,系统包括一个或多个激光雷达系统、三维照相机、三维扫描仪等,以及捕捉空间信息的此类传感器设备,如传感器设备视图中的点的X、Y和Z坐标。
在一些实施方案中,空间信息可以相对于本地坐标系,也可以是相对于全球坐标系的(例如,直角坐标系可以有一个固定的参考点,如地球上的一个固定点,也可以有一个非固定的本地参考点,如传感器位置)。
在一些实施例中,这种传感器还可以捕获一个或多个点的属性信息,如颜色属性、纹理属性、反射率属性、速度属性、加速度属性、时间属性、模式和/或各种其他属性。在一些实施方案中,除了激光雷达系统、三维相机、三维扫描仪等之外,其他传感器也可以捕获属性信息,以包括在容积点云或沉浸式视频内容中。
而在未来的车辆中,例如,在一些实施方案中,陀螺仪或加速度计可以捕获运动信息,作为与点云中的一个或多个点相关的属性而被纳入点云。例如,配备有激光雷达系统、三维摄像机或三维扫描仪系统和仪器捕获的点云中。例如,当车辆视图中的点被捕获时,它们可以被包括在点云中,其中点云包括捕获的点和对应于捕获点时车辆状态的相关运动信息。
图源:patentlyapple
苹果公司的专利图1A说明了点云和该点云的多个观察区域,其中根据一些实施方案,一个视口可以被定位为从点云的圆周上各观察区域内的多个不同视图,从而整体观察点云;图1B和1C说明了从不同的观察区域观察时可查看的点云的部分,其中该点云的部分被分割为不同观察区域的子点云。
苹果公司的上述专利图2A说明了一个点云和定位在点云圆周上的多个点云观察区,其中观察区包括与点云不同距离的视图。
苹果公司这项专利首次在8月中旬由美国专利商标局公布的授权专利11,418,769中被公开,它此前从未作为专利申请公布过。想要查看更多专利细节内容,可点击此处。
来源:patentlyapple