英伟达发布新开源AI图像生成模型,可直接从单个2D图像生成3D模型

IP归属:广东

编译/VR陀螺

英伟达新的AI模型GET3D旨在加快3D内容的创建速度。该模型可以在几秒钟内输出许多纹理的3D网格,可以在标准图形引擎中无缝使用,而这只需要一张2D图像作为输入即可。

GET3D是 " Generate Explicit Textured 3D(生成显性纹理三维)"的缩写,是一种生成性3D模型,可以合成任何拓扑结构的高质量3D多边形网格。一张二维图像就足以作为生成过程的输入。

图源:Nvidia

生成的多边形网格由带纹理的三角形组成,这是一种标准格式,可以无缝导入3D程序、游戏引擎或电影渲染器。

3D对象在导入后是完全可编辑的,例如,可以进行缩放、旋转和照明。通过英伟达的StyleGAN-Nada,开发人员可以进一步改变3D模型的形状或纹理,只需使用文本命令,例如,将传统汽车转变为警车。

从合成的2D图像生成3D模型

英伟达的研究团队开发了一个两步的生成过程。几何分支生成具有任何所需拓扑结构的多边形网格。纹理分支则会生成一个纹理字段,该字段可以表示颜色,例如,多边形网格表面点处的特定材料。

最后,与GA网络一样,鉴别器根据3D模型的合成照片评估输出的质量,并不断优化它以匹配目标图像。

GET3D是用大约100万张不同角度的3D模型的合成2D图像进行训练的。据英伟达称,在英伟达 A100 GPU上训练需要花费大约2天时间。

GET3D加速了3D内容的进程

GET3D能够生成的3D模型取决于训练数据。例如,如果你用合成的汽车或动物图像训练系统,它可以生成3D汽车或动物。英伟达表示,训练数据集越大、越多样化,生成的3D模型就越详细、越多样化。

图源:Nvidia

据英伟达称,在一个现成的英伟达 GPU上,该模型在训练后每秒可以生成大约20个形状,这些形状组合起来就形成了一个3D模型。生成过程在用户的计算机上进行,因此不受内容限制,如云端人工智能服务中已知的那些限制。

"GET3D使我们离AI驱动3D内容创作的普及化更近了一步,"英伟达在多伦多的研究实验室负责人Sanja Fidler说道,该工具就是在那里开发的。

据英伟达的研究团队称,GET3D的一个限制是,目前只能用已知相机位置的合成图像的2D剪影进行训练。在未来的版本中,相机位置预估的进展可能会成为使用真实图像进行训练的基础。

目前,GET3D也只能按类别进行训练。跨类别的模型可以增加生成的3D模型的种类,提高系统的灵活性。

作为一个开源模型,GET3D可以在Github上免费使用。

来源:mixed-news

陀螺科技现已开放专栏入驻,详情请见入驻指南: https://www.tuoluo.cn/article/detail-27547.html

VR陀螺专栏: https://www.tuoluo.cn/columns/author1286744/

本文网址: https://www.tuoluo.cn/article/detail-10102446.html

免责声明:
1、本文版权归原作者所有,仅代表作者本人观点,不代表陀螺科技观点或立场。
2、如发现文章、图片等侵权行为,侵权责任将由作者本人承担。

相关文章