近日，Meta公司申请的一项新专利展示了可能为电子游戏和VR应用带来更真实的唇部同步和面部动画的技术。创建具有这些更逼真的面部动作的NPC和玩家虚拟化身，为包括VR游戏在内的更真实、更有吸引力、更有沉浸感的游戏和体验打开了新大门。
即使几十年来电子游戏的图形已经取得了进步，近年来允许开发者创建近乎真实的虚拟角色，但为这些角色描绘真实的语言和面部表情对开发者来说仍然是个挑战。玩家的大脑习惯于看到和阅读其他人的脸，因此，即使是电子游戏的角色已经配备了出色的面部动画，也很容易陷入恐怖谷效应，导致角色看起来 "不对劲"，甚至直接令人不安。Meta公司的专利可以允许即时生成逼真的唇语和面部表情，为开发者节省时间，提高玩家的沉浸感。
图源：Meta
该专利详细介绍了将用户的讲话翻译成逼真的唇语和面部动画的各种方法，使开发者在选择使用该系统时具有灵活性。专利中概述的一种方法涉及使用一个音频和视频记录的数据集，当他们阅读50个不同的语音平衡句子时，系统会跟踪他们阅读每一个句子时的面部表情。通过跟踪个人在阅读每句话时脸部和嘴部的动作，该系统可以从这些动作中提取信息，并将它们融合在一起，以逼真地制作出一个角色的动画，甚至包括眨眼和扬眉等细微动作。
除了能够根据现有数据集生成面部动画和唇语之外，该专利还描述了该系统如何利用集成在VR头显中的摄像头做同样的事情。这一功能可以让VR用户拥有准确模仿自己面部表情的虚拟化身，从而在多人游戏和VR聊天等社交VR体验中获得更真实和沉浸的体验。
从Valve的Source引擎使用动画系统为对话中的每个音素（组成单词的单个声音）建立面部动作模型，到Team Bondi使用MotionScan技术用32个高清摄像机系统捕捉《黑色海岸》的演员表演，开发者们始终在努力为游戏创造真实的面孔。Meta公司的专利可能会为在这一探索提供巨大的技术飞跃，并可能有助于在游戏和VR体验中开创一个高质量、逼真的面部动画的新时代。
来源：gamerant
