自12月初以来,人们一直在探索OpenAI推出的对话AI ChatGPT神经网络的深度。近日,一位开发者让这款对话AI吐出了可以工作的AR代码。
OpenAI的ChatGPT对话AI被优化为生成文本和回答问题。但12月初的初步测试很快表明,该系统不仅仅能回答几个措辞整齐的句子,还能回答编程代码。
由ChatGPT生成的AR应用ChatARKit
开发者Bart Trzynadlowski想知道他是否能用ChatGPT开发一个AR应用,只用语音命令就能自主地在环境中放置数字3D物体。他还使用OpenAI的人工智能模型Whipser来识别语音命令,然后将它们作为人工智能提示带入ChatARKit应用的JavaScript环境。
图源:Bart Trzynadlowski
因此,ChatGPT能从Sketchfab中选择符合语音命令的3D物体,并根据提示将它们放在桌面或地板上。如果提示它,ChatGPT甚至可以缩放和旋转3D模型。人工智能系统会自行生成这方面的代码。
据Trzynadlowski表示,这些是一些有效的提示样本:
- "在最近的平面上放置一个立方体"。
- "将一个旋转的立方体放在地板上。"
- "把一辆跑车放在桌子上并旋转90度"。
- "把一辆校车放在最近的平面上,让它沿着平面来回行驶。"
根据Trzynadlowski的说法,ChatGPT的工作并不可靠。对于相同的命令,人工智能模型会产生非常不同的输出,并在应用程序中放置不正确的JavaScript代码行。有时,ChatGPT会将对象描述变成代码标识符,这意味着无法再从Sketchfab检索到3D模型。
Trzynadlowski在Github上将他的ChatGPT AR应用作为开放源代码免费提供。
用自然语言在VR中生成3D物体
对于VR,开发者Jasmine Roberts最近展示了OpenAI新的3D人工智能Point-E,像图像人工智能DALL-E 2一样,它可以完全基于文本输入生成内容。然而,Point-E生成的不是图像,而是代表三维模型的三维点云。每次生成,Point-E在单个Nvidia V100 GPU上只需要大约一到两分钟。值得一提的是,Roberts的演示是实时运行的。
Point-E是OpenAI在文本转3D合成方面进一步工作的起点。谷歌与Dreamfusion,以及Nvidia与Magic3D最近也推出了文本转3D系统,这可能在未来3D内容的进一步传播中发挥重要作用,而这也是元宇宙理论的一个重要基础。
来源:mixed-news