编者按：尽管去年 Meta 收入初次出现了降低，尽管遭遇了通货膨胀和经济低迷，但该公司仍义无反顾地对元宇宙押下重注。那样，他们的努力都收到了什么效果？这类项目是否都能达成？ Meta 这场达成虚拟世界愿景的持久战到底能坚持多长时间？这所有都隐藏在那个绝密的现实实验室的背后，大家就来看看里面都有哪些吧。文章来自编译。

马克·扎克伯格就坐在我对面，用手指的轻微运动控制着屏幕上的物体。轻敲，滑动，捏合。他的手腕戴着一块粗大的腕表，看着非常像一块实验性的智能手表：这就是 Meta 对大家将来与 AR、VR、计算机与其他所有互动的愿景。

就在筹备演示这款神经腕带之前，扎克伯格说：“它跟智能眼镜配合得非常不错......其实我感觉它合适所有。我觉得在将来，大家会用它来控制我们的手机和电脑，与其他东西......你仅需带上一条腕带。”他的手和手指的动作好像非常轻微，几乎像是一动不动，有时几乎都看不见。

神经输入设施只不过 Meta 除去 VR 以外的策略的一部分，而这类腕带是我首次访问坐落于华盛顿州雷德蒙德的 Meta Reality Labs 总部时看到和试过的技术之一。此番探访是 Meta 首次邀请记者参观其将来的技术研究设施，这类设施就坐落在 Facebook 硅谷总部以北的几座不起眼的办公楼内。

坐落于华盛顿州雷德蒙德的 Meta Reality Labs 入口。

上次拜访雷德蒙德时，我试用了Microsoft的 HoloLens 2。我的 Meta 之旅也有类似的历程。这一次，我试用的是 Meta Quest Pro，这是一款将 VR 和 AR 融合到一台设施之内的头戴设施，扎克伯格要靠它去推进我们的雄心壮志，达成更聚焦于工作的元宇宙策略。

Meta 最新的 Connect 大会新闻主要的关注点还是 Quest Pro，与与Microsoft、Zoom、Autodesk 和埃森哲等公司打造的新的工作伙伴关系，目的是让 Meta 与Microsoft的混合现实雄心珠联璧合。

我还要看看他们的一些实验性研究项目。虽然这类项目还没为平时用做好筹备，但可展示 Meta 下一步计划的确切目的。这类还非常遥远的项目，与更昂贵的 Quest Pro 头戴设施，它们的出目前对于 Meta 来讲是一个奇怪的时刻，这家公司已经投入数十亿USD到元宇宙的将来，但其最受青睐的 VR 头戴设施 Quest 2 的销售量仍然不到 2000 万。感觉将来还没完全到来，但像 Meta 如此的公司已经为此做好了筹备。

我与其他几位受邀记者一块体验了若干离奇古怪的演示。那感觉就像我在探索威利·旺卡（Willy Wonka）的巧克力工厂。但我也得到了如此的信息，即虽然 Quest Pro 看上去是 Meta 硬件走向新方向的开端，但它离最后目的还非常遥远。

Meta Reality Labs Research ，研究职员在演示用EMG 腕带测量运动神经元

神经输入：会适配人的腕带

Meta Reality Labs 的首席科学家 Michael Abrash 一遍又一遍地告诉我这个词：“协同适应性学习” 。他说的是 Meta 自 2022 年回收 CTRL-Labs 以来曾多次讨论过的那款腕带。这是一个非常难理解透彻的定义，但在几位练习有素的研究职员的展示下，我总算对此知道一些。戴着连接到电脑的笨重腕带，佩带者仅需动动手指，即可让卡通人物在无休止的游戏里面来回走动。然后，他们的动作好像停止了。他们的动作这样轻微，以至于他们的手看着几乎都没动，但他们其实还在玩着游戏。这款腕带用 EMG（肌电图，对肌肉的电测量）来测试细微的肌肉冲动。

Reality Labs 神经运动接口总监， CTRL-Labs 前首席实行官 Thomas Reardon 在此次演示中发表了演讲。他表示，基于反馈的练习过程可以逐步让腕带佩带者减小动作幅度，最后可以只用一个运动神经元。最后结果看着有点像读心术，但其实是通过巧妙地测量展示运动意图的电脉冲来完成的。

马克·扎克伯格用电脑演示一种神经输入腕带

扎克伯格在展示腕带的时候，用了一组类似的动作，也非常轻微，但更明显。腕带的控制感觉与基于触摸的触控板或空中鼠标（air mouse）有点类似，可以辨别靠压感的捏合、滑动和手势。

在描述 EMG 和神经输入技术的目的时，Abrash 表示：“从长远来看，大家期望能有一个像与物理世界交际一样自然和直观的界面。”

打字怎么样达成还没出来。依据扎克伯格的说法，要达到能正常打字的速度和保真度需要更高的带宽：“目前比特率低于迅速打字的频率，但最重要任务是先得让技术可行。”到了一点时候，目的是让控制能做更多的事情。 Meta 觉得这项技术可能需要五到六年的时间才能问世，感觉就太久了。但假如这个时间框架维持不变的话，它或许会与 Meta 预计的最后定型版 AR 眼镜一块问世。

EMG 腕带看着像一块巨大的智能手表原型，那一段段的表带内置了传感器。

扎克伯格说，腕带是智能眼镜的重要，由于大家不想把控制器随时带在身边，而语音和手势跟踪还不够好。但最后他计划让这类种类的控制完全适用于任何设施，无论是 VR 还是其他设施都能辨别。

这类控制看着会牵涉到一种完全不相同种类型的输入语言，可能与手机或 VR 控制器上的现有控制相似，但会逐步适配人的行为。大家好像需要一段时间才能掌握用它。

Reardon 说：“大部分人都会了解不少关于控制上的事情，比如怎么样在这个世界进行互动，怎么样移动我们的身体等。他们会理解容易的系统，譬如字母。那就是大家的契合点，然后大家做这件事，这个很深度的思想叫做一同适应，根据这个想法，人与机器将携手并进，沿着通往大家的目的的道路一同学习，这个目的大家称之为纯神经界面。大家会借助神经运动接口将神经解码与运动解码融合到一块。与其说这是一种新的语言，不如说这种语言会在机器和人之间进化，但它的开端是大家今天所做的事情。”

演示反馈怎么样会让腕带感知到幅度愈加小的运动。

扎克伯格补充道：“一同适应这个东西非常有深度。你没法与物理键盘一同适应。移动键盘的话有涉及一点点一同适应，譬如你出现了一点拼写错误也没问题，它会预测 [你想输入的单词]，但一同适应远不止于此。”

我一个人没戴上或试过神经输入腕带，但我能看其他人是如何使用的。几年前，在 CES 上，我确实略为上手过一种不相同种类型的腕戴式神经输入设施，对此类技术的实质工作原理算是有了一点感受。它与我一年前试过的 Nextmind （后被 Snap 回收）的头戴式设施不同，后者是用大脑信号来衡量眼球运动。

用 Meta 腕带的人好像比较容易就能做出动作，但那些都是基本的滑动游戏控制。这种控制设施怎么样才能配合 AR 眼镜实行更重要的平时用？ Meta 还没有做出来这种成效：依据扎克伯格的说法，现在的目的是让技术可以用，并展示自适应学习怎么样可以逐步缩小反应的动作幅度。大家可能需要一段时间才能在平时设施上看到这项技术，但我想了解的是， Meta 如何将这类原理应用到不是基于神经输入，而是靠机器学习辅助的那种控制上。在最后目的达成之前，大家能看到改进的控制器或手势跟踪组合吗？非常难说。但这类腕带现在还是非常遥远的赌注，不拥有指日可待的可能性。

戴着一个支持空间追踪的头戴设施，我分辨不出它制造的音效与房间里的扬声器有什么区别。

超真实的 3D 音频

我尝试的第二组演示，展示了下一代的空间音频，其实就是 Meta 在 2022 年谈到过的研究——该公司原先计划在疫情爆发之前做现场展示的。空间音频已广泛用于 VR 头戴设施、游戏机和 PC 与各种平时耳机，如 AirPods 的上面。 Meta 计划做的不止是让音频看着好像来自不同方向，而是以让它看着像是真的来自你一个人房间的方法传播声音。

大家去参观了该实验室的隔音消声室，那是一个带有泡沫墙的悬挂空间，可以阻挡声波的反射。他们向大家展示了一系列的音箱，那是用来帮助研究声音是怎么样传播到人的耳朵，并探索声音在物理空间的运动方法的。之后，大家体验了两个展示声音的真实感的演示。

在 Meta 的消声室内，他们用了一系列的音箱帮助制造空间音频。

其中一个演示是我坐在拥挤的房间里，耳朵戴上麦克风，然后项目负责人在我周围走动，演奏乐器并在不同距离发出声音。录制了 40 秒之后，项目负责人用头戴式耳机给我回放了那段音频……里面有的地方听起来就像有人在房间里面我的周围走动一样。我觉得，这种成效之所以让人信服是由于音频回声：运动在房间的空间里面产生的那种回荡的感觉。

第二个演示我是在一个放有四个音箱的房间里面。他们让我戴上一副 3D 空间追踪耳机，然后确定听到的音乐是来自音箱还是我的耳朵。我失败了。音乐的播放好像毫无缺陷，我在逛来逛去的时候不能不摘下耳机来确认声音的出处。

根据 Michael Abrash 在 2022 年的说法，这项技术不像神经腕那样，距离成为现实还非常遥远。 Meta 的计划是在手机摄像头的帮忙下，对 3D 音频做出个性化的调整，就像苹果刚刚给最新的 AirPods 增加的特质一样，但多了一项逼真的房间映射的额外好处。 Meta 的目的是最后让出目前任何空间内 AR 投影听起来都让人信服：这个目的是非常有意义的。一个由全息物体组成的世界需要给人以与现实锚定的感觉。尽管，假如将来的虚拟对象听起来感觉像我试过的演示一样让人信服的真实的话，那真实声音和虚拟声音可能就非常难区别，这会引起一大堆别的存在主义的问题。

戴着 VR 头显，与电脑屏幕上的头像说话：与虚拟角色的对话太逼真了，以至于感觉就像和他们在同一个房间里面一样。

与逼真得像照片一样的头像交谈

我站在一个黑暗的空间里，戴上特制的面部追踪 VR 头显，我对面出现了一张好像被烛光照亮的很逼真的脸颊，但其实那人身处 Meta 坐落于匹兹堡的 Reality Labs Research 办公室。我正在体验 Codec Avatars 2.0，它憧憬的是一个关于虚拟世界中的化身怎么样变得逼真的将来。

到底有多逼真？非常逼真。逼真到不可思议：我站得非常近，看着他们嘴唇的动作、他的双眼、他的微笑和皱眉。感觉就像和一个超级逼真的 PlayStation 5 游戏角色交谈，然后一遍又一遍地意识到这是与真人的实时对话，以虚拟形象的形式进行。

我想了解面部跟踪有多好或局限性有多大：毕竟，我早期试用 Quest Pro 的时候就发现了用面部跟踪的局限性。我让对面的 Jason 的虚拟角色做出各种表情，他照做了。他说我是个话痨，这让我发笑。环境的亲密性让我感觉我需要挨近一点交谈，那感觉就像在山洞或昏暗的夜店里一样。我想就有那样逼真吧。最后，这种逼真感觉开始好到以至于我觉得自己在进行真的的对话了。感觉就像我在我们的视频游戏的过场动画里面一样。

不过 Meta 并不觉得这会非常快应用到平时的头戴设施上。第一，独立的 VR 头显的处置能力有限，房间里面的头像越多，图形处置的负担就越重。除此之外，跟踪技术还不适用所有人。

尝试与与一个Instant Codec Avatar聊天，用手机扫描人脸即可创建出来的。

我尝试的第二个演示有一个更精简版，上面展示了一个头像，它是通过用名为 Instant Codec Avatars 的新技术，通过手机摄像头进行面部扫描创建出来的。这张脸看着比我一个人用过的大部分扫描都要好。但我感觉自己只不过在跟一个僵硬的、只能轻微移动的头像说话。最后的结果不如 Meta 目前用的卡通化皮克斯式的头像那样流畅。

用一系列摄像机对一位演员提前进行 3D 扫描。我看到之后渲染的化身被叠加了一层数字服饰。

最后一个演示展示的是一个全身的化身（从头到脚！），但不是直播的或交互式的。得先用一系列摄像机在一个特殊的房间对演员预先进行 3D 扫描。这项演示的目的是展示怎么样将数字化衣服逼真地披在化身上。从近距离看结果非常不错，但成效与逼真的视频游戏类似。他们好像是在试水有朝1日在虚拟世界里面怎么样供应数字资产，但目前任何一款头戴设施都还不支持这种。

我的运动鞋用 Meta 新的捕捉技术进行了 3D 扫描，仅需手机即可。

对我的鞋子进行3D 扫描（还有超逼真的仙人掌和泰迪熊）

就像魔术表演里面的志愿者一样，我被需要脱下一只鞋子进行 3D 扫描实验。我的鞋子最后被放到桌子上，仅需用手机摄像头扫描——无需激光雷达。大约半小时后，我就能开始用 AR 和 VR 看我们的鞋里。与空间音频一样，3D 扫描已经非常常见，有不少专门做将 3D 资产导入 VR 和 AR的公司。 Meta 的研究目的是用一种所谓的神经辐射场（neural radiance fields）技术，从而让各种手机摄像头扫描也能获得更好的结果。另一个演示将保真度又提升了一个档次。

我的鞋被扫描后 AR显示的成效。

有几个东西是预先扫描好的，显然需要几个小时才能筹备好，它们捕捉到了复杂 3D 物体的光模式。在VR头显设施上看到的结果给人留下了很深刻的印象，包含一只泰迪熊，几颗仙人掌等的细节很逼真。卷曲的皮毛好像不像大部分 3D 扫描那样融合到一块或呈磨砂装；相反，呈现出来的成效是蓬松的，好像没角度。仙人掌上的刺纤毫毕现。

在我在 Reality Labs 尝试过的所有演示当中，这或许是最不可以让人叫绝的。但这只是之前已经在 AR 和 VR 演示中有了很多让人印象深刻的 3D 扫描和渲染的体验。现在还不了解Meta 的研究示例在平时当中达成起来的实时性或容易程度怎么样，所以非常难判断该功能的有效性。可以一定的是，假如将对象扫描成文件兼容的虚拟版变得愈加容易的话，那就将成为任何公司达成统治虚拟世界这个野心的重要。很多企业已经瞄准了线上销售虚拟产品，下一步是让其他人都可以轻松地对我们的东西做这件事。同样，这个也已经有在手机上用的可能，只不过看着还没那样好……还差点火候。

首席科学家Michael Abrash 在一堆VR 和 AR 原型头显前与大家交谈。

这所有意味着什么呢？

当我结束在 Meta 一天的参观，在停车点去打 Lyft 时，我脑海里面浮现的一个更大的疑问，是这所有大全起来意味着什么呢？ Meta 拥有全新的 Quest Pro 头戴设施，这是一款将 AR 和 VR 融为一体的尖端设施，它为通过面部跟踪控制头像提供了新的可能性。

将来的其余部分仍然是一系列的问号。 Meta 野心勃勃，想要在元宇宙开疆拓土，但通往那些地方的道路都还没铺设完毕。神经输入、AR 眼镜、声音、物体和体验的虚实融合？这类可能还需要几年的时间。

尽管去年Meta 收入出现了降低，尽管遭遇了通货膨胀和经济低迷，但该公司仍义无反顾地对元宇宙押下重注，这类项目是否都能达成？ Meta 这场达成虚拟世界愿景的持久战到底能坚持多长时间？

Meta 的VR 太阳镜原型，是该技术的“北极星”目的。

一天参观结束，当大家再度聚在一块时，Abrash 又一次把大家带回到同一个主题，即沉浸式计算最后会成为一场真的的革命。早些时候，大家曾在了一堵挂满了 VR 和 AR 头显的墙边驻足，这是 Meta 制作的所有实验原型的奖杯陈列柜。大家看到了有混合现实的，有些则是连着显示器，旨在展示看到的外部的样子，还有些很小，好像是要成为太阳镜一样的梦想 VR 设施。

这让我想到了智能手机进入主流之前走过的手机设计实验的漫长道路。显然，元宇宙的将来仍在路上。虽然目前大事物可能正在出现，但 AR 和 VR 将来真的的“智能手机”在非常长一段时间内可能都不会出现。

站在头显陈列墙上，Abrash 说道：“有一点我很确定，那就是 20 年后，这将是大家互动的方法。它将以大家以前从未做过的方法去做事情。但它的真的问题是，要做到这一点很很不简单。”