豌豆
游戏和其他虚拟世界中通常会设置NPC(非玩家角色),这些NPC通常都是由程序驱动的,玩家则借由他们与游戏进行交互。
逐渐地,人们不满足于与喜欢的NPC进行单调而重复的对话,幻想某一天NPC也能倾听玩家的故事,或是与玩家一同讨论他们当天的生活,若是能与他们握手、拥抱,他们也能表现出真人一般的反应,也许会让人更愿意相信他们是真正的虚拟世界“原住民”朋友,而非一串代码。
《动物森友会》中,玩家和小动物的互动
如何让NPC更智能,更有感情?《动物森友会》给小动物们设定了非常丰富的对话内容和动作表情,每个小动物都有独特的外表和性格(以及口头禅),小动物也会主动与玩家互动(主动打招呼、送礼),这样的真实感成为了不少玩家们坚持上线的动力。
AI语音只是沉浸式互动的冰山一角
为了让虚拟角色“活起来”,以AI技术起家的Inworld AI推出了一款供用户创建AI虚拟角色的开发者平台。目前该公司已经为其开发者平台完成共6000万美元融资,这笔资金将用于在电子游戏和虚拟世界中创建AI驱动的虚拟角色。
Inworld AI的联合创始人兼首席执行官Ilya Gelfenbeyn此前创建了一家名为API.AI的AI创业公司,为安卓提供语音助手软件,并在2016年将其出售给谷歌(现在称为Google Dialogflow)。几年后,他和其他联合创始人决定继续开设新的公司,但这次的核心目标是将AI技术带入游戏。
图源:Inworld AI
Gelfenbeyn认为:“我们专注于沉浸式现实:像游戏、元宇宙,以及一些非游戏环境,如企业培训和虚拟活动,这些虚拟世界正在快速发展,但也许没有我们大家希望的那么快。”
他补充说:“如果你要生活在这样的线上环境中,而且它们的沉浸性很强,那么你会希望所有可交互的事物和角色都像现实世界那样更具真实感。因此,我们的想法是建立一种工具,使所有类型的创作者和游戏设计师能够真正建立角色,使这些虚拟世界更加吸引人。”
Inworld AI的创始人以及团队的专家都在AI领域有着丰富的工作经验,例如前谷歌的Dialogflow NLU/AI团队首席技术官Michael Ermolenko,以及曾在DeepMind领导应用生成语言模型产品的产品总监Kylan Gibbs。
图源:网络
为了给游戏、虚拟世界、VR/AR中的虚拟角色带来更丰富的社交互动。该公司还聘请了视觉效果先驱者John Gaeta作为其首席创意官(提出了《黑客帝国》“子弹时间”的概念,并积极探索XR拍摄方式),他本人也曾担任Magic Leap创意战略高级副总裁的执行职务。
Gelfenbeyn指出,Inworld 角色不应仅限于言语,而是能够与人类使用的许多方式进行交互,例如面部手势、肢体语言、情感以及身体交互。
近几年元宇宙相关产业的发展让Gaeta看到了希望,他更想做的是实现人们可以在虚拟世界里走动,并与其中的人进行更深层互动的场景。他与Inworld AI的创始人见面后,更是坚定了“从虚拟角色开始入手”的想法。
Gaeta在提及AI虚拟角色时表示,多年以来一直深受斯坦利·库布里克、菲利普·狄克和史蒂文·斯皮尔伯格等人在AI角色方面的科幻作品启发。
“试想一下,当一个新诞生的虚拟NPC在几分钟内就能生成全新的人格,并且在这段时间内,你就能够与它进行对话……因此,我认为这(AI虚拟角色)有可能是一种结合了惊人的想象力和全新形式的艺术。”
以人类大脑为灵感,加强AI感知、认知和行为
Inworld AI以人类的大脑为灵感来构建技术堆栈,Gelfenbeyn将其分为三个主要组成部分:感知、认知和行为。
其中感知侧重于输入和对环境和其他方面的理解,主要利用听觉、视觉等感官;在认知方面,主要由虚拟角色的内部状态决定,例如记忆、情感、个性、目标和背景;行为关乎虚拟角色的输出和交互,例如语音、手势、肢体语言和动作。
为了让虚拟角色能够以听觉和视觉的方式感知环境,Inworld AI试图通过融合自然语言理解和处理、光学字符识别、强化学习和会话AI等AI技术来模仿人类的认知能力,以开发复杂的虚拟角色——可以甚至回答问题并进行对话。
图源:Inworld AI
在Inworld AI的虚拟角色开发平台,首先需要用几句话设定好虚拟角色的身份,并调整角色的个性组合,然后可以通过设置关键词来决定该虚拟角色的生活状态、动机、情绪等等,当然也可以设置具体问题进行固定对话。
与OpenAI的模型相比,Inworld AI有大约20个不同的机器学习模型,负责角色个性的不同方面。用户不需要输入代码,系统便可直接帮助虚拟角色推断如何回应问题并快速作出反应。
在视频的简介中提到,这名AI虚拟角色Rufus的所有对话都是使用Inworld AI实时生成的。环境和视觉效果是使用Unity构建的。
https://res.vrtuoluo.cn/production/admin/uploads/20230117/1673926205893Inworld+AI+Demo++Rufus+the+Dragon.mp4
Inworld AI员工与虚拟角色进行对话测试
Inworld AI生成的虚拟角色在准备正式进行交互和测试之前会经历一个“训练”过程,可以选择通过Inworld AI的Oculus配套应用程序在VR中进行。然后可以通过通用引擎等方式将虚拟角色集成到游戏和应用程序中。
AI和机器学习开发领域竞争激烈,有Open AI和Google Al等老牌技术供应商在前,但Inworld AI并没有与他们一较高下的想法,而是选择在垂直领域,尝试填补AI领域上的空白。它以高度专业化的解决方案,用于为AI驱动的虚拟角色开发对话式AI,而不是通用机器学习模型。
智能AI虚拟角色离我们并不遥远
玩家都会有在游戏中遇到NPC并与之交谈的经历。通常情况下他们会被认为是“安排任务”的角色,说了几句话(或者关闭游戏)之后,就进入了一种休眠状态,玩家再次登录后NPC又不断重复各自的台词。
为什么要给虚拟NPC更多的智能,将AI分配给更多的操作体验和环境不是会更好吗?事实上,从游戏的角度看,整个虚拟世界的故事的线性发展甚至包括开放世界,基本都是围绕用户与NPC的互动和对话来推动的。
图源:Inworld AI
如果由AI驱动的NPC具有用户和故事背景中不曾提及的知识,玩家可以选择与他们交友、组队甚至是威胁,这将为虚拟世界带来更多样化和生动的体验。
Inworld AI考虑到这一点,在自由交谈的前提下提供了安全对话模式。
如平台允许开发者将单词和特定主题列入黑名单,打开安全过滤器,并在出现问题时删除对话。Inworld AI声称是最早使用OpenAI的Moderation端点的公司之一,该工具可以分析文本以查看它是否包含任何应该被过滤掉的内容,包括仇恨或暴力言论、性相关内容和唆使自残的信息。
Inworld AI的虚拟角色平台仍处在测试阶段,目前正在与一些3A级游戏工作室和其他企业合作开发并完善该平台。
https://res.vrtuoluo.cn/production/admin/uploads/20230117/1673926558024Inworld+Origins+Teaser.mp4
来源:Inworld AI
据了解,Inworld AI作为2022年入选迪士尼加速器计划的六家公司之一,迪士尼将为这些公司提供指导、投资资金以及进入迪士尼创意园区共享工作空间的机会,共同打造沉浸式体验的未来。该公司正准备开发一款游戏以展示其AI虚拟角色的能力。
Gelfenbeyn表示:“我们的工作重点必须是建立真正具有吸引力和表现力的角色,以便玩家喜欢与他们交谈,让用户真正享受与角色的互动。我们也非常注重创造力,下一步将与MetaHuman和其他平台合作,这样就可以创建生成具有更生动的视觉、手势、动画和情感特性的虚拟角色。”
让虚拟角色拥有AI或许只是为虚拟世界多一分真实感,得益于内容生态的快速发展,沉浸式XR体验的应用场景越发丰富,不只是游戏,还有文旅教育、展览导览等领域都需要智能AI角色的加入。元宇宙也正在成为部分公司用来与用户交互的新渠道,AI对话式虚拟角色距离更复杂、更完整的形态还有很长的一段路要走。
参考链接:https://venturebeat.com/game-development/inworld-ai-raises-50m-to-populate-games-and-the-metaverse-with-smart-characters/