DreamFusion是一款使用名为 Imagen 的文本到图像生成模型来优化 3D 场景的产品。
该产品具有评分蒸馏采样 (SDS)功能,这是一种通过优化损失函数从扩散模型生成样本的方法。
SDS 允许在任意参数空间(例如 3D 空间)中优化样本。
该产品使用类似于神经辐射场的 3D 场景参数化来定义这种可微映射。
DreamFusion 添加了额外的正则化器和优化策略来改进几何形状,
从而产生连贯的高质量法线、表面几何形状和深度,以及具有朗伯着色模型的可重新点亮 NeRF。
DreamFusion 的用例涉及优化各种应用的 3D 场景,例如视频游戏、虚拟现实体验和电影制作。