仅使用自然语言,开发者通过ChatGPT生成AR应用ChatARKit

IP归属:广东

编译/VR陀螺

自12月初以来,人们一直在探索OpenAI推出的对话AI ChatGPT神经网络的深度。近日,一位开发者让这款对话AI吐出了可以工作的AR代码。

OpenAI的ChatGPT对话AI被优化为生成文本和回答问题。但12月初的初步测试很快表明,该系统不仅仅能回答几个措辞整齐的句子,还能回答编程代码。

由ChatGPT生成的AR应用ChatARKit

开发者Bart Trzynadlowski想知道他是否能用ChatGPT开发一个AR应用,只用语音命令就能自主地在环境中放置数字3D物体。他还使用OpenAI的人工智能模型Whipser来识别语音命令,然后将它们作为人工智能提示带入ChatARKit应用的JavaScript环境。

图源:Bart Trzynadlowski

因此,ChatGPT能从Sketchfab中选择符合语音命令的3D物体,并根据提示将它们放在桌面或地板上。如果提示它,ChatGPT甚至可以缩放和旋转3D模型。人工智能系统会自行生成这方面的代码。

据Trzynadlowski表示,这些是一些有效的提示样本:

  • "在最近的平面上放置一个立方体"。
  • "将一个旋转的立方体放在地板上。"
  • "把一辆跑车放在桌子上并旋转90度"。
  • "把一辆校车放在最近的平面上,让它沿着平面来回行驶。"

根据Trzynadlowski的说法,ChatGPT的工作并不可靠。对于相同的命令,人工智能模型会产生非常不同的输出,并在应用程序中放置不正确的JavaScript代码行。有时,ChatGPT会将对象描述变成代码标识符,这意味着无法再从Sketchfab检索到3D模型。

Trzynadlowski在Github上将他的ChatGPT AR应用作为开放源代码免费提供。

用自然语言在VR中生成3D物体

对于VR,开发者Jasmine Roberts最近展示了OpenAI新的3D人工智能Point-E,像图像人工智能DALL-E 2一样,它可以完全基于文本输入生成内容。然而,Point-E生成的不是图像,而是代表三维模型的三维点云。每次生成,Point-E在单个Nvidia V100 GPU上只需要大约一到两分钟。值得一提的是,Roberts的演示是实时运行的。

Point-E是OpenAI在文本转3D合成方面进一步工作的起点。谷歌与Dreamfusion,以及Nvidia与Magic3D最近也推出了文本转3D系统,这可能在未来3D内容的进一步传播中发挥重要作用,而这也是元宇宙理论的一个重要基础。

来源:mixed-news

陀螺科技现已开放专栏入驻,详情请见入驻指南: https://www.tuoluo.cn/article/detail-27547.html

VR陀螺专栏: https://www.tuoluo.cn/columns/author1286744/

本文网址: https://www.tuoluo.cn/article/detail-10104534.html

免责声明:
1、本文版权归原作者所有,仅代表作者本人观点,不代表陀螺科技观点或立场。
2、如发现文章、图片等侵权行为,侵权责任将由作者本人承担。

相关文章