绘画生成3D设计

GET3D

Nvidia的2D转3D模型

爱站权重:PC 百度权重移动 百度移动权重

Warning: Undefined array key "qrcodeimgUrl" in /www/wwwroot/ai236.com/wp-content/plugins/rest-api-to-miniprogram/includes/filter/ram-custom-content.php on line 42

GET3D:从图像中学习的高质量 3D 纹理形状的生成模型

我们通过两个潜在代码生成 3D SDF 和纹理场。我们利用 DMTet 从 SDF 中提取 3D 表面网格,并查询表面点处的纹理字段以获取颜色。我们使用 2D 图像上定义的对抗性损失进行训练。特别是,我们使用基于光栅化的可微渲染器来获取 RGB 图像和轮廓。我们利用两个 2D 判别器(分别针对 RGB 图像和轮廓)来对输入的真假进行分类。整个模型是端到端可训练的。

GET3D 能够生成具有任意拓扑、高质量几何和纹理的多种形状。

抽象的

随着多个行业开始对大规模 3D 虚拟世界进行建模,对能够在 3D 内容的数量、质量和多样性方面进行扩展的内容创建工具的需求变得越来越明显。在我们的工作中,我们的目标是训练高性能的 3D 生成模型来合成纹理网格,这些网格可以直接由 3D 渲染引擎使用,从而可以立即在下游应用程序中使用。先前的 3D 生成建模工作要么缺乏几何细节,要么受限于它们可以生成的网格拓扑,通常不支持纹理,要么在合成过程中利用神经渲染器,这使得它们在常见 3D 软件中的使用变得非常重要。在这项工作中,我们介绍了 GET3D,一种生成模型,可以直接生成具有复杂拓扑、丰富几何细节的显式纹理 3D 网格,和高保真纹理。我们将最近在可微表面建模、可微渲染以及 2D 生成对抗网络方面取得的成功结合起来,从 2D 图像集合中训练我们的模型。 GET3D 能够生成高质量的 3D 纹理网格,范围从汽车、椅子、动物、摩托车、人物到建筑物,比以前的方法取得了显着改进。

生成的 3D 资源

无条件 3D 生成的定性结果。我们强调生成的带有纹理的 3D 网格的多样性和质量,包括: 1. 椅腿上的轮子; 2. 车轮、汽车的所有灯光和窗户; 3、动物的老鼠、耳朵、角; 4.后视镜,摩托车轮胎上的线框,5.高跟鞋,人类的衣服

几何与纹理之间的解开

在每一行中,我们显示从相同的几何潜在代码生成的形状,同时更改纹理潜在代码。在每一列中,我们显示从相同纹理潜在代码生成的形状,同时更改几何代码。我们的模型在几何和纹理之间实现了良好的分离。

在每一行中,我们显示从相同纹理潜在代码生成的形状,同时从左到右插入几何潜在代码。在每一列中,我们显示从相同的几何潜在代码生成的形状,同时从上到下插值纹理代码。这个结果证明了对它们每个人的有意义的插值。

等等。



微信扫描下方的二维码阅读本文

数据统计

相关导航