DreamFusion：使用 2D 扩散将文本转为 3D

抽象的

文本到图像合成的最新突破是由数十亿图像文本对训练的扩散模型推动的。使这种方法适应 3D 合成需要大规模的标记 3D 资产数据集和用于去噪 3D 数据的高效架构，而这两者目前都不存在。在这项工作中，我们通过使用预训练的 2D 文本到图像扩散模型来执行文本到 3D 合成，从而规避了这些限制。我们引入了基于概率密度蒸馏的损失，该损失使得能够使用二维扩散模型作为参数图像生成器优化的先验。在类似 DeepDream 的过程中使用这种损失，我们通过梯度下降优化随机初始化的 3D 模型（神经辐射场，或 NeRF），使其从随机角度进行的 2D 渲染实现低损失。给定文本的最终 3D 模型可以从任何角度查看、通过任意照明重新点亮或合成到任何 3D 环境中。我们的方法不需要 3D 训练数据，也不需要对图像扩散模型进行修改，证明了预训练图像扩散模型作为先验的有效性。

给定标题，DreamFusion 会生成具有高保真外观、深度和法线的可重新照明的 3D 对象。对象被表示为神经辐射场，并利用预训练的文本到图像扩散先验，例如 Imagen。

自己从文本生成 3D！

松鼠的 DSLR 照片 松鼠的复杂木雕 松鼠的高度详细的金属雕塑

[...]穿着和服穿着中世纪的盔甲穿着紫色连帽衫穿着优雅的舞会礼服

看书、骑摩托车、吹萨克斯、切菜、坐在陶轮前、塑造陶碗、骑滑板、挥舞武士刀、吃汉堡、跳舞

https://dreamfusion-cdn.ajayj.com/journey_sept28/cropped/full_continuous/a_DSLR_photo_of_a_squirrel___rgbdn_hq_15000.mp4

生成对象示例

DreamFusion 从不同的字幕生成对象和场景。在我们的完整图库中搜索数百个生成的资产。