豌豆
此前,一名游戏动捕演员“曦曦鱼SAKANA”走出幕后,在b站发布了多条关于不同风格游戏角色的动作捕捉视频,因其传神的动作与表情获得了观众的高度认可,不少观众纷纷表示“仿佛看到了xx角色本人”。
来源:b站@曦曦鱼SAKANA
今年8月28日发布第一条视频以来,截至目前,“曦曦鱼SAKANA”在b站的总播放数已达到了5620万。不只是她,还有许多动捕演员同样在b站上活跃着,向人们分享参与动捕拍摄的日常与心得,展示这个时代下的动捕技术力。
来源:b站@mobiusP
在游戏、影视等领域,动捕技术已不算罕见,而角色背后的动捕演员这一身份近些年才逐渐被大众所了解。然而不同的场景对动捕的精度要求不一,专业的动捕演员需要身着特定的动捕服,在特定的场地里完成动作捕捉。
使用专业设备的成本非常高,据悉市面上的一些专业动捕品牌例如OptiTrack、Vicon和Xsens等解决方案大多在几千美元到几万美元不等。一套专业的动捕方案包含设备本身(传感器、服装、基站、电脑等),以及定制的软件,再加上维护成本,对普通人来说难以承受。
除了定价高昂的专业级方案,是否还有“普通人友好”的动捕设备?答案是肯定的,就在今年10月,索尼中国正式上市销售mocopi(国行售价2499元),正巧11月19日也是该产品公布一周年的关键时间节点,接下来陀螺君将带来便携动作捕捉产品mocopi的产品评测。
“纽扣式”传感器mocopi,总重量仅48g
虚拟化身已是部分人在互联网上进行社交的一项身份名片。以《VRChat》为例,玩家们普遍热衷于在虚拟空间还原现实世界的各种体验。
再看现有的动捕技术,主流的方案包括光学式动捕方案和惯性式动捕方案等等,惯性式动捕方案,以其超低廉成本和简便成熟的处理流程,上手更为简单。
自2022年底索尼宣布要推出这款面向消费者的名为mocopi的便携式动作捕捉设备以来,便得到较高的关注度,只用总重量48g的6个跟踪传感器就能完成全身动捕,据称能为虚拟主播、内容创作者,及科技游戏爱好者提供新思路、新启发和新应用场景,拓展内容呈现的可能性。在索尼品牌的加持下,这款便携式动捕设备具体表现如何?
图源:索尼
颜值能打,6枚传感器总重量仅48g
开箱后,首先映入眼帘的是鲜亮色彩的“多巴胺色系”包装,包装盒最底层则是与传感器相配的绑带,长度形态不一。
图源:VR陀螺
取出充当传感器收纳和充电底座的mocopi黑色收纳盒并打开,包装盒颜色与传感器颜色相对应,单个传感器大小与瓶盖相近(直径为3.2cm、重量为8g),传感器背后印有独立的编码,方便蓝牙配对。
mocopi充电时需要将传感器固定在收纳盒(磁吸),通过金属触点充电。据悉,传感器满电状态下支持长达约10小时续航,且能不限场地自由使用。
图源:VR陀螺
mocopi需要与智能手机(支持iOS/Android)搭配使用,安装好手机端App后,即可通过蓝牙配对的方式与mocopi进行连接(第一次连接时需要单独确认6枚传感器的蓝牙连接),连接成功后将传感器安装在绑带上(强力磁吸卡扣固定)再将传感器分别佩戴在头部、两手的手腕、腰部和两脚的脚踝处。
图源:索尼
据官方介绍,mocopi“纽扣式”的轻便设计,能随时随地轻松实现高精度的动作捕捉,通过实时捕获6个传感器的动作数据来驱动App中的3D虚拟形象。
即开即用,20分钟内一键绑定虚拟形象
提到全身动捕追踪器,可能不少人第一时间会想到HTC VIVE追踪器,它能为游戏玩家带来实时准确的追踪效果。但mocopi显然不是应用于捕捉游戏玩家的动作上,更多的是面向直播、录制虚拟人物视频以及更加休闲的VRChat动捕。
虽然同为索尼出品,但mocopi是相对独立的一款产品,目前并不支持PS VR头显和PS5。
图源:VR陀螺
绑定并按手机端App中的视频指引和图示佩戴mocopi传感器后,提前确认好手机的位置,最好是方便自己点击录制的区域。此外还需要身体站直,在响铃后往前迈出一步,以完成进一步校准。
包括首次使用的配对注册、穿戴传感器和校准调整的时间,总耗时不过20分钟,单个传感器重量较轻,无负重感和不适感。
站立校准(图源:VR陀螺)
此时,手机屏幕将进入待录制界面,屏幕中间是索尼官方提供的二次元风格虚拟人物“Raynos酱”。不得不说,初次佩戴mocopi并在虚拟空间内看到自己驱动的虚拟形象,确实会让人感到兴奋。
图源:VR陀螺
再来确认屏幕上方的UI,分别是“虚拟人物”“背景”“镜像”“麦克风”“媒体库”,屏幕下方可以更换表情/手势,捏合调整虚拟形象大小,还能调整虚拟形象移动/旋转(操作界面的UI在录制时会自动隐藏)。接下来将实际佩戴mocopi进行简单的动捕效果测试。
mocopi体验:新手友好但功能有限的便携式动捕设备
mocopi评测结果:
优势——轻便,几乎无感、续航时间长、适合基础动作捕捉,支持多种场景应用,借助手机即可录制运动数据
劣势——价格较高、追踪不够稳定(长时间使用需在手机反复校准)、目前动捕精度不够高、延迟较严重、会受到其他蓝牙设备干扰
在佩戴mocopi实际测试的过程中,陀螺君尝试录制多个动作以体验基础功能,按下屏幕下方中间的红点,倒计时3秒后开始录制,以下为动捕录制效果:
固定相机模式,测试HUMAN虚拟人物走路效果(来源:VR陀螺)
需要说明的是,mocopi采用惯性动捕技术,而惯性传感器(IMU)的测量精度会受地磁场受干扰,在进行动作捕捉时,如果要完成复杂的动作就容易让虚拟人物出现奇怪的姿势。
但即便是双手手臂在身体前后交叉挥动,相较于光学动捕技术,mocopi不会受到遮挡、光线等影响,也不会出现追踪丢失的情况。只是mocopi似乎对信号干扰很敏感,时不时会弹出横幅“与传感器的通信不稳定”,但似乎影响不大。
mocopi最直观的缺点就是追踪效果不够稳定,例如走路时能明显看出来虚拟人物的脚容易打滑,位置容易偏移;蹲下、坐下和躺下时,会出现追踪异常的情况等;虚拟人物的手肘和膝盖动作无法准确捕捉。
图源:VR陀螺
为了满足VTuber这类虚拟主播的直播需求,mocopi手机端App的麦克风功能支持录制语音,并做到与虚拟人物口型同步,但体验下来延迟较为明显,口型的变化种类不算太多,能满足一般场景使用,且语音识别功能对音量有要求,如果说话太小声则识别不出来或口型不准确。
图源:VR陀螺
在mocopi手机端App中可以设置多种背景,包括默认背景、纯色背景和AR背景。纯色背景方便抠出人像编辑到其他场景,包括影像图片以及直播间画面等等,AR背景则可以将虚拟人物放置在现实环境中。
视频录制结束后可生成mp4文件,也能捕获并保存BVH动作数据以及实时发送动作数据至PC端,省去了传统动捕方案复杂的操作流程,相关文件可在媒体库查看。
如果用mocopi来玩游戏会有怎样的效果,陀螺君尝试着结合Nintendo Switch体验了一把《舞力全开2022》。
不仅仅是《舞力全开》,若要录制《Beat Saber》等游戏的游玩片段还可以使用绿色背景,将素材进行后期合成,完成二次创作,效果会更佳。
mocopi的另一大卖点就是支持《VRChat》动捕,索尼的意图非常明显,其目标用户群体直指《VRChat》的核心用户,一是他们特别注重沉浸感的体验,二是市面上有着不同价位的轻便型动捕设备,大多数《VRChat》用户也愿意购买这些外设来加强游戏的沉浸感。
使用mocopi连接《VRChat》的步骤也相对简单,在手机端App上修改外部设备连接设定,将传输格式改为“OSC Trackers”,将IP地址更改为VR头显或PC的地址,并确认端口为“9000”,确认设置后就可以开始录制,并佩戴好头显。同样的,也需要在《VRChat》设置汇中打开OSC即完成设置。
来源:YouTube@TribegreywolfVR
但多数用户反映,目前使用mocopi的《VRChat》体验并不算太好:不仅需要同时佩戴mocopi的6枚传感器和VR头显,手上还要握住控制器,VR设备也能完成头部、双手动作的捕捉,这三处传感器没有得到有效利用。
图源:索尼
另外mocopi还为主要的3D开发软件,如Unity、MotionBuilder和UE虚幻引擎等,合作推出了“mocopi”插件,提供了更多的应用开发机会。
而且除了Raynos酱,mocopi手机端App还为用户提供了使用自定义3D虚拟人物的平台,点击“虚拟人物”板块即可启动由环球数码创意控股集团合作提供的3D虚拟人“拟影平台”,让用户下载虚拟形象,也可以自己上传VRM模型使用自制虚拟形象。
总体看来,相近价位的同类型产品中,mocopi已经能完成绝大部分动作的捕捉,它也获得了不少VR用户的关注。
对比其他市面上常见的动捕设备(图源:SlimeVR)
然而在捕捉精准度等方面mocopi还有很大的改进空间,其他便携式动捕设备例如SlimeVR、HaritoraX等综合其他VTuber和视频博主的评测来看似乎更具性价比。
目前mocopi已足够应对日常录制时长较短的视频(长时间录制则需要不断重新校准,比较麻烦),但实际上mocopi穿模的问题仍然存在,当然这也与虚拟人物和实物的接触和骨骼绑定问题有关,而且延迟问题较为严重(最高仅60Hz刷新率),个别动作捕捉不够准确,包括双手抱胸、蹲下、手臂抬高过肩等,期待后续能进一步改进。
好在索尼正积极关注用户反馈,针对上述《VRChat》用户曾评价“mocopi不适用于《VRChat》”的问题做出回应,表示正在推出“优先下半身动捕”的测试模式,支持将手腕处的传感器安装在膝盖附近,并重新配备新的腿部专用绑带(12月1日起作为可选配件销售)。
当然,mocopi如果能持续保持稳定的优化,它还有着非常大的应用前景,陀螺君认为除了上述提到的娱乐游戏场景,无论是内容开发者还是动画制作者,甚至是喜爱运动健身的用户都有机会使用mocopi来利用自己录制的动作数据。
结语
实际上mocopi在推出之际,索尼就已开始着手搭建其生态体系。
索尼宣布与HIKKY合作推出“unlink”丰富元宇宙虚拟活动;与虚拟主播MCN机构hololive合作;与DONUTS合作加强《Tokimeki VR》直播软件效果;与StretchSense合作,第三方动捕手套可以兼容mocopi;与bilibili“幻星派对”和百度希壤元宇宙达成合作……
一方面通过多方联动丰富产品的使用场景,另一方面又体现出背靠索尼这个集成了众多优秀资源的企业,mocopi作为该公司元宇宙布局的关键产品,能够进一步发挥品牌优势。
图源:StretchSense
作为一家大型的跨国综合企业,索尼从硬件方面深入挖掘元宇宙的潜力:
- 2022年11月,索尼发布便携动作捕捉产品mocopi,降低虚拟内容制作门槛;
- 2023年3月,索尼发布PS VR2,这是继第一代PS VR后时隔7年推出的第二款VR头显;
- 2023年4月,索尼发布27英寸空间现实显示屏ELF-SR2,以展示强沉浸感的裸眼3D内容……
除了硬件产品以外,索尼中国研究院推出了结合3D内容生成和动作捕捉技术的“虚拟舞蹈实验室”,和以触觉反馈技术助力演唱会等欣赏体验的“沉浸式触觉剧场”等不同的解决方案。另外,索尼自己也发起了虚拟偶像计划“VEE”培养了大批虚拟主播,几乎是从全方位渗透至各种元宇宙相关项目。
图源:索尼
索尼集团现任董事长兼CEO吉田宪一郎曾在采访中提到自己对元宇宙的看法,他认为:“元宇宙是一个人们可以共享时间和空间的实时网络空间,其中还包含社交元素。现在,网络已经扩展到互动娱乐领域,与实时呈现CG的游戏技术相融合。”
“娱乐的精髓在于 ‘临场感’,索尼的首要任务是创建一个以娱乐为核心的元宇宙。除了索尼的游戏、音乐、图片和动漫等多元化娱乐业务外,而索尼在包括Micro OLED在内的显示技术、眼球跟踪等传感技术和3D音频技术方面都有优势。”
索尼选择在这个时间段推出mocopi动捕设备,与时下计算机视觉技术的技术进步,以及对高质量3D内容需求增加的大趋势相符,加上近两年元宇宙受到非常高的关注度,海内外的科技公司都在该领域有所布局。mocopi等轻薄、便携的动捕设备有机会为更多普通消费者打开拓展创意的渠道。