得益于NVIDIAResearch新的AI模型,由越来越多的公司和创作者创造的大型虚拟世界可以更容易地填充一系列多样化的3个D建筑、车辆、人物等。
NVIDIAGET3D仅使用2D图像训练可以生成三维图形,具有高保真纹理和复杂的几何细节。D对象的创建格式与流行的图形软件应用程序中使用的格式相同,允许用户立即导入其形式3D后续编辑的渲染器和游戏引擎。
它生成的对象可以用于建筑、室外空间或整个城市的3D表演,为游戏、机器人开发、建筑、社交媒体等行业量身定制。
GET3D几乎无限的三维图形可以根据训练中使用的数据生成。正如一位艺术家将一块粘土制成精美的雕塑一样,该模型将数字转换成复杂的三维图形。
例如,借助2D汽车图像的训练数据集创建了一系列汽车、卡车、赛车和货车。当在动物图像上训练时,它会产生狐狸、犀牛、马和熊等生物。如果进入椅子,模型将产生各种旋转椅子、餐椅和舒适的躺椅。
NVIDIAAI研究副总裁SanjaFidler负责领导创建这个工具的多伦多AI她说:实验室:“GET3D让我们离开普及AI驱动的3D内容创建更近了一步。它可以实时生成纹理三维图形,这可能会给开发人员带来颠覆性的变化,帮助他们快速填补虚拟世界,包含各种有趣的对象。”
11月26日至12月4日在新奥尔良(和网上)举行NeurIPSAI大会上,NVIDIA有20多篇论文,专题研讨会,GET3D就是其中之一。
构建虚拟世界需要多种方式AI类型
现实世界充满了多样性:街道上的建筑有自己的特点,不同的车辆在其中呼啸而过,人群的无尽流动更加丰富多彩。一场景,3D虚拟世界的手动建模非常耗时,因此很难填充详细的数字环境。
以前的3D生成式AI虽然模型比手动方法快,但它也限制了可以生成的细节。即使是最近的反向渲染方法也只能从多个角度拍摄D图像生成3D对象,这就要求开发人员一次构建一个三维图形。
相反,在单个NVIDIAGPU上运行推理时,GET3D每秒可以生成大约20个形状,就像处理20个形状一样D就像对抗网络的图像生成一样,只生成3D对象。训练数据集作为学习来源,更大、更多样化,输出更多样化、更详细。
NVIDIA研究人员使用合成数据进行培训GET3D,这些数据包不同相机的角度拍摄的3D图形2D图像。团队只用了两天,就用了NVIDIAA100TensorCoreGPU,对模型进行了100万张图像的训练。
使创作者能够修改形状、纹理和材料
GET3D这个名字是因为它可以产生显式纹理3D(GenerateExplicitTextured3D)网格,这意味着它将以三角形网格的形式创建形状,并用纹理材料覆盖,就像papier-m?ché模型是一样的。这使得用户可以轻松地将对象导入游戏引擎,3D建模软件和电影渲染器,并进行编辑。
在创作者将GET3D当生成的形式导出到图形应用程序时,当这些物体移动或旋转时,可以使用逼真的照明效果。通过集成NVIDIAResearch另一种提供AI工具StyleGAN-NADA,开发人员可以使用文本提示将特定的样式添加到图像中,例如渲染的汽车调整为燃烧的汽车或出租车,或将普通房屋设置为鬼屋。
研究人员指出,未来版本GET3D相机姿态估计技术可以用允许开发人员使用现实世界中的数据(而不是合成数据集)来训练模型。它还可以得到改进,以支持通用生成,这意味着开发人员可以对各种三维图形进行一次性训练GET3D,而不是每次都在一个物体类别中训练。
(责任编辑:xp)