今天,美国专利商标局正式授予苹果一项专利,该专利涉及用于渲染空间音频的高级音频系统的各个方面,该系统主要用于在耳机以及苹果未来MR头显中呈现空间音频效果。随着时间的推移,苹果公司这项高级空间音频可能会被用于与AirPods一起工作的Mac、iPhone等设备。
耳机可以重现由设备传达的空间音频信号,以模拟用户周围的声景。一个有效的空间声音再现可以重新创建声音,使用户认为声音来自用户头部以外的声景中的某个位置,就像用户在现实世界中遇到的声音一样。
当声音从现实世界周围环境传到听众那里时,声音沿着直接路径传播,例如通过空气传到听众的耳道入口,以及沿着一条或多条间接路径传播,例如通过在听众的头部或肩部周围反射和衍射。当声音沿着间接路径传播时,人为声音元素可以被引入到耳道入口处接收的声学信号中。
用户特定的人为声音元素可以通过使用空间音频滤波器的信号处理算法纳入双耳音频中。例如,与头部有关的传递函数(HRTF)描述了相对于听众的身体,位于空间某处的声音在进入听众的听觉系统之前是如何被过滤的,例如,在听众的头部、躯干和外耳周围是如何被反射或衍射的。HRTF描述的线索使听觉系统能够确定声音来自空间中的哪个位置。
为了实现准确的空间音频再现,虚拟音频系统可以使用HRTF来创造声音来自空间某处的错觉。更特别的是,一个与HRTF有关的音频滤波器可以应用于音频输入信号,以塑造信号的方式,使塑造信号的再现真实地模拟声音从HRTF测量的相对位置传给用户。因此,听众可以使用简单的立体声耳机,通过对音频输入信号应用双耳音频滤波器,创造出听觉环境中某处声源的幻觉。
现有的虚拟音频渲染系统需要知道用户的头部相对于虚拟声源的方向,以便选择一个适当的与头部有关的传递函数(HRTF)。通常,HRTF被定义和测量为与方位角、仰角有关,有时还与虚拟声源和用户头部之间的距离有关。
到目前为止,HRTF数据集的定义还没有囊括与身体其他部位相对于用户头部的方向有关的维度。更具体地说,在使用HRTF数据集时,没有考虑到从名义上的头部朝前的躯干方向的变化;躯干被假定为与头部一起旋转和移动。这样一来,用户在保持躯干静止不动的情况下向右转,例如面向前方,就会有一种令人不安的体验,即听到的声音就好像他们的躯干与他的头同时向右转一样。
换句话说,虚拟音频渲染系统并不区分头部和躯干单独移动的情况,以及头部和躯干一起移动的情况。现有的虚拟音频渲染系统对头与躯干方向的这种无视,导致空间音频渲染不能准确地再现躯干方向对现实生活中声源的影响。
苹果公司授予的专利涵盖了一种媒体系统和使用该媒体系统准确再现虚拟音频的方法,其中考虑到了用户的头部相对于用户躯干的方向。
该媒体系统包括一个或多个处理器,被配置为确定头部对声源方向和头部对躯干方向。头部到声源的方向可以是用户的头部和声源之间的相对位置和/或方向。相对方向可以从头部跟踪设备产生的头部跟踪数据中确定,例如具有惯性测量单元的头戴式设备。
头部到躯干的方向可以是用户的头部和用户的躯干之间的相对位置和/或方向。相对方向可以直接测量,例如,由头部跟踪设备或配套设备的一个或多个传感器测量。或者,相对方向可以仅根据头部跟踪设备产生的头部跟踪数据来推断。
基于头部追踪数据的头部-躯干方向的估计可以包括确定当头部方向数据满足头部运动条件时,躯干向与头部对齐的方向移动。
例如,当头部移动时,躯干可以移动。或者,躯干可以在头部移动时移动,然后在一个新的方向停止移动。
在一个方面,当头部以特定模式移动时,躯干可以移动。在任何情况下,躯干的运动都可以与头部运动相关,例如,通过头部跟踪数据的平均值或中位数进行数值计算,或以其他方式,例如,根据与检测到的头部运动的模式相对应的特定模式移动躯干。
图源:patentlyapple
苹果公司的专利图1是一个用户相对于声景中的声源定位的图解;图2是一个基于头部到躯干方向的空间音频的再现方法的流程图。
图源:patentlyapple
苹果公司的专利图4是一个用户的头部相对于声景中的声源移动的示意图;图9是一个头部高于躯干的网格生成的示意图,用于模拟头部到声源和头部到躯干方向的各种组合的头部相关传递函数。
想要了解更多专利细节,可查阅苹果公司的授权专利11,375,333。
此外,苹果公司今天还获得了题为 "增加背部音量的耳机"的11,375,306号专利,该专利一般涉及各种耳机功能。更特别的是,各种功能通过在耳机中加入一系列的传感器和新的机械功能,有助于改善整体的用户体验。想要了解更多专利细节,可点此查看苹果公司的授权专利。
来源:patentlyapple