4月13日下午,由武汉东湖新技术开发区管理委员会主办,陀螺科技联合主办的2023武汉元宇宙开发者高峰论坛在武汉光谷举办。
论坛以“元生万物,智汇光谷”为主题,聚焦元宇宙内容发展趋势、前沿开发技术及项目实战经验,Unity、中国移动咪咕公司、盛天网络、TCL华星、聚好看科技、MultiMetaVerse、比邻星球、维亚环球科技、彼真科技、佳创视讯、VeeR、铃空游戏等行业先锋代表为与会来宾带来精彩分享。
其中,比邻星球CTO王林强为与会来宾带来了“AIGC加速构建元宇宙数字空间生态”的主题演讲。
以下为演讲实录:
大家好,我是比邻星球的王林强,很高兴受邀参加“元生万物、智汇光谷”2023武汉元宇宙开发者高峰论坛。今天我要和大家分享的演讲题目是“AIGC加速构建元宇宙数字空间生态”。
这个主题包含了AIGC、元宇宙和数字生态三个关键词。我的PPT分为三个部分,依次介绍当前AIGC技术的发展趋势和进展,比邻星球如何打造元宇宙,以及目前AIGC在比邻星球元宇宙的落地、实践和思考。
现场嘉宾看到的比邻星球数字人灵灵视频是使用基于图片和文字生成视频的技术做出来的。这个视频反映出来,对于所有的行业从业者而言,只需要花2分钟的时间,提供一段文字加一张图片,就可以生成类似的视频。这样的技术不算是AIGC目前核心和顶尖的技术,但它说明了两个技术方向:
第一,AIGC能大幅度降低内容创作的成本,提高效率;第二,使用AIGC能摆脱低效率的资源浪费,让我们更多去专注文化、内容的创意探索。这是我认为AIGC未来在文化和元宇宙方向所拥有的巨大潜力。
AIGC最新进展和应用
最近AIGC比较火,伴随ChatGPT在1750亿参数规模下带来的接近“图灵测试”的智能水平,这是大家持续关注ChatGPT、并称之为“智能问答元年”的最重要原因。它解决的是未来元宇宙数字人的智能问题。
第二个目前在AIGC领域比较火热的技术是Stable Diffusion,它能基于一段文字或图片,创作出新的图片,而且这个AI图片的创意已经超过了很多专业美术和创意的平均水平。这是未来能解决图像、图片、或者艺术创作的一个最重要的二维技术。
AIGC行业下一个重大突破方向是NeRF,即“神经辐射场”。它解决的是未来数字场景中3D场景以及3D人物的生成技术,同样能带来效率的提升,以及成本的下降。未来这三大技术能奠定AIGC在元宇宙的重要地位,加速元宇宙的到来。
ChatGPT作为大的自然语言模型,可以解决智能问题,未来大语言模型会朝万亿规模、多模态和垂直模型发展;Stable Diffusion解决的是二维图片创意问题,可以做到文生文、图生图、文生视频、图生视频;NeRF解决的是3D世界要素生成,包含3D数字人、3D物体和3D场景生成。
接下来3~5个月,NeRF可能有一个重大的突破方向是来自微软的Rodin模型。它可以基于一段文字或一张照片,生成一个三维数字人形象。这可能会替代目前行业基于人工建模或基于技术进行数字人建模的过程,真正加速未来数字人在元宇宙的快速落地。
当智能问答能接近图灵测试,元宇宙的数字人就可以给我们提供更多的临场感和真实感,可以定制更多的数字化角色和高质量的生成内容,这是元宇宙内容部分所需要的,当然还有一些智能NPC和数字陪伴等,这些是大的自然语言模型可以解决的问题。
Stable Diffusion目前在元宇宙解决的问题是可以快速更换场景中图片,形成各种各样的场景,以及数字的NFT生成,或者是元宇宙2D资产的生成。
三维物体生成是我们期望未来能快速落地的方向,这样可以构建元宇宙里大量的场景和物体,就会极大地丰富元宇宙的3D内容。
比邻星球3D AIGC/UGC平台
刚刚讲到的是目前AIGC的发展和未来技术的突破方向,下面介绍比邻星球如何构建3DAIGC/UGC平台。
众所周知元宇宙空间最重要的三要素是:数字人、数字物品、数字场景,而互动行为可以将三要求有机地结合起来。
第二部分是社交网络。不管是基于微信和熟人、或者是陌生人社交,我们产品的本质是基于社交网络建立连接并维护连接的活跃度。元宇宙社交是通过元宇宙空间,在互动的过程中能产生和维护目前已有的连接,同时通过社交网络带动用户在元宇宙世界的互动,并促进已建立的连接在元宇宙空间中完成社交行为。
比邻星球AIGC和UGC平台的主要核心是通过创作者经济的商业模式,让更多有价值的AIGC和UGC内容在我们的平台上产生,并让这些创意和社交资产得以变现。有了这样的平台,就能获得内容丰富的元宇宙空间,以及丰富的消费内容。
比邻星球APP内容目前包括几个方面。一是之前强调的元宇宙场景,其中有很多场景落地,包括星际露营、深圳地标建筑等元宇宙空间、以及会议室等场景。
二是数字人。在数字人可以进行定制的基础上,会产生很多的衣服和搭配等,这些都是可以由创作者生成的内容,目前我们已经有1000+内容创作的服饰,供消费者进行使用或购买。
下面是数字场景和数字互动,比邻星球的数字场景允许所有人进行多种互动。我们希望通过数字元宇宙空间,帮助用户构建他们的社交网络,并在这里产生更多的社交行为。
比邻星球创作者平台的构建思路,是希望通过该平台把创作者和用户全部聚合在一起,实现创作者可以创作出有创意的内容,能被用户进行消费,并通过商业模式进行驱动,构建出有经济驱动的元宇宙平台。所有创作者都能通过我们的创作中心进行3D资产的创作和销售。
AIGC加速比邻星球元宇宙构建
下面快速地介绍AIGC在比邻星球的落地和实践。
数字人两大重要特征是智慧和情绪,这样才能让用户觉得是在和真实的“人”对话。
关于“智慧”部分,我们使用大模型的智能问答,目前已经接入ChatGPT和百度的文言一心来产生这样的能力。至于“情绪”部分可以采用反向思路,基于大模型去判断用户的交互情感,以做出对应的动作和表情动画,让数字人产生情绪。
我们还可以做语音到3D动画的生成,从文字/语音对唇形和面部表情进行驱动等,使之更加“拟人”。最近我们还上线了“角色”特征,比如ChatGPT里可以定制一个人设,基于这样的人设能让用户产生更加真实的交互。
在传统的语音识别和合成方面,我们也在情绪和语气的方面做探索,这些技术目前已经相对成熟了,也有在我们的产品中落地。
关于AIGC在我们数字场景中的落地情况。我们已经使用了NeRF的一些能力,去生成简单的道具,这些道具已经不再基于人工进行开发。第二是生成图片和视频的能力,其实我们的每个场景中都会有大量的屏幕和装饰,未来用户可以基于文字生成阳光沙滩或是高山等背景图,从而进行场景替换,让场景的丰富度得到极大提升。
NeRF还有一个重要作用是3D人物的面部生成,能降低成本,提升快速生成数字人的能力。当然还有基于大模型的智能NPC的构建。在我们的场景中就有这样的NPC提供引导,帮助从从未接触过元宇宙玩法的新用户低门槛、便捷地体验元宇宙,让他们感受到更好的3D沉浸式社交体验。
比邻星球的艺术家创作平台还提供了编辑工具,让用户快速创建场景中的内容资产。
我认为:AIGC加速元宇宙生态的完善和构建,将让元宇宙的到来又近一步。。这个观点是基于以下四点做出的判断:1、数字人具备了更高的智能和拟人;2、3D生成能力即将让“所想即所得”成为现实;3、数字场景创作、丰富性、创意等门槛极大降低;4、真正融合数字人/物/场景,让用户获得更有趣的互动,为社交网络中的连接创造价值。
以上就是我的简短分享,如果有兴趣的话可以通过手机应用商城下载体验比邻星球APP,并关注我们。谢谢大家!