虚拟现实领域正在快速发展，不过在其达到技术潜力之前，仍有许多障碍需要克服。今年6月，Meta在Inside the lab活动中展示了多款VR原型机，它们分别解决了不同方面的技术挑战，如分辨率、亮度、尺寸等。——相关阅读：从Meta 4款原型机和概念机上看到的元宇宙未来
道格拉斯·兰曼（Douglas Lanman）在Meta公司工作了8年，是开发显示系统的部门负责人。在今年的Siggraph会议上，兰曼发表了演讲，主题是开发一个趋于完美的VR头显所面临的十大挑战。
道格拉斯·兰曼（图源：网络）
1.更高的分辨率
目前的VR头显在分辨率方面还远没有达到人类的视觉。为了使虚拟世界看起来像实物一样真实和清晰，并且即使在中距离也能很好地阅读文本，VR显示器的分辨率必须大幅提高。
Meta公司表示，单眼8K、像素密度为60 PPD是初步目标。Meta Quest 2只达到了单眼2K和20 PPD。6月公开的原型机之一Butterscotch已经实现了接近视网膜级别的分辨率，达到55 PPD。
不过，高分辨率显示器的开发和生产并不是最大的问题，问题在于要有相应的计算能力来支持这种高分辨率显示器。注视点渲染和云串流技术可以提供帮助，但它们本身也是重大的技术挑战。
不同头显的分辨率比较（图源：Meta）
2.更广的视场
人类的水平视场角大约是200度宽。现阶段，商业上可用的VR头显一般能达到100度的水平视场角，在垂直视场角方面也仍有改进的余地。
更广的视场给透镜技术带来了巨大的挑战，这表现在视场边缘的图像失真上。同时，这也关系到计算能力的问题，视场越宽，VR头显所要显示的像素就越多，这将导致更高的功率要求和更多的废热。
3.人体工程学
消费端市场的VR头显仍然很笨重。Meta Quest 2的重量超过1磅，从面部突出近3英寸。理想情况下，VR头显需要足够舒适以支持长时间佩戴，因此在设计上要更窄、更轻。Pancake透镜和全息透镜可以提供帮助。
原型机Holocake 2被扎克伯格称为“我们制造的最薄、最轻的VR头戴设备”。为了实现纤薄的效果，Meta开发了两项新技术：平面全息透镜和偏振反射。但问题在于，两项技术都要使用定制的激光器作为光源，而这些激光器还没有发展到可以大规模生产的程度。
以太阳镜的形式显示的是Holocake 1原型，作为对比，透明显示的是2016年的Oculus Rift。（图源：Meta）
4.带视觉校准的显示器
完美的VR头显应该能够检测并补偿用户的视觉缺陷，这样无需佩戴传统的眼镜或隐形眼镜就能在虚拟现实中看得清楚。
这个问题可以通过特殊的附件来解决，但更好的方案是，显示器带有视觉校准功能，可以根据用户自己的视力来进行适配。这样今后就不用担心佩戴传统眼镜使用VR，会不会刮伤镜片的或挤压用户脸部的问题了。
5.可变的焦点
在VR环境中，人眼不能自然聚焦，时间长了就会导致眼睛疲劳和头痛。这种现象在技术术语中被称为“视差适应冲突”。
为了解决这个问题，Meta公司的研究人员开发了一种支持“渐进式视觉”的原型机Half Dome。该显示器能模拟不同的焦平面以及模糊，帮助眼睛更自然地观察虚拟世界，就像它起源于自然一样。不过，扎克伯格曾表示可变焦功能距离实装上市还有至少五六年的时间。
另外值得一提的是，Half Dome的FOV达到了140度。
6.面向所有人的眼球追踪
眼球追踪是虚拟现实的一项关键技术，它是许多其他重要的VR技术的基础，如渐进式视觉（见第5点）、注视点渲染和畸变校正（见第7点）。它还能在社会体验和新的互动形式中实现眼神交流。
眼球追踪的问题是，它并不是对所有的人都有同样的效果。行业需要一个可靠的解决方案，能够覆盖更广泛的人口。否则，该技术只会让人感到沮丧，并被消费者所拒绝。
瞳孔的形状因人而异。这对眼球追踪系统来说是一个挑战。（图源：Meta）
7.畸变校正
透镜本身就会产生图像畸变，必须通过软件进行校正。瞳孔的最轻微的移动都会导致细微但明显的畸变，它们损害了视觉的真实性，特别是在与其他技术（如渐进式视觉）结合时。
为了加速校正算法的发展，Meta的研究人员开发了一个畸变模拟器。它可以用来测试不同的透镜、分辨率和视场，而不需要制造测试头显和特殊透镜。
8.高动态范围（HDR）
实体物体和环境的亮度远高于VR显示器。针对这一问题，Meta公司开发了原型机Starburst，其最高亮度可达2万尼特。作为比较，一台好的HDR电视会达到几千尼特，而Meta Quest 2只有100尼特。
Starburst可以真实地模拟封闭房间和夜间环境中的照明条件。不过目前的原型机非常重，以至于得悬挂在天花板上，而且耗能极大。
据Meta公司称，HDR对视觉真实性的贡献比分辨率和可变焦距等更大，但距离实际应用却最远。
9.视觉逼真度
完美的VR头显必须在两个方向都是半透明的。VR用户应该能够看到环境，就像环境能够看到VR用户一样。这既是出于用户舒适度的考虑，也是出于社会接受度的考虑。
头显传感器记录环境，并将其显示为虚拟现实中的视频图像。这种被称为透视的技术目前已经存在于商业化的VR头显中，尽管质量相当差。例如，Meta Quest 2提供了一种颗粒状的黑白透视模式。Meta Quest Pro应该会以更高的分辨率和色彩来改善这种显示模式。
然而，这还不足以实现对物理环境的完美重建。其中一个有待解决的问题是，透视技术捕捉到的世界视角在空间上与眼睛存在偏差，这在长时间使用时可能会引起不适。为此，Meta公司正在研究人工智能辅助的凝视合成技术，该技术能实时生成视角正确的视点，并具有高视觉保真度。
在相反的情况下，Meta公司称之为“反向透视”，即外人能看到VR用户的眼睛和脸，凭此得以进行眼神交流或阅读面部表情。这可以通过朝内的传感器和外部（光场）显示器来实现。但正如Meta的研究表明，这项技术还远远没有准备好进入市场。
左边是Oculus Rift，它阻挡了VR用户的眼睛视线。右边是一个早期的反向透视原型机。（图源：Meta）
10.面部重建
共处和元宇宙是Meta公司的最终目标。该公司希望有一天人们能在虚拟空间中会面，并感觉他们就像在同一个房间里一样。为此，Meta公司正在研究逼真的Codec Avatars，但它们的制作和计算成本仍然很高。
这个方向的第一步是VR头显可以实时读取VR用户的面部表情，并将其转移到虚拟现实中。Quest Pro将是Meta公司首款提供面部追踪的头显。
来源：MIXED
