Fantasia3D

「Fantasia3D」是什么

Fantasia3D是一种致力于高质量文本到3D内容创作的新方法。它创新性地对几何和外观进行解耦建模与学习，为生成优质3D资产提供了有力支持。

功能解析

• 零样本生成：仅通过文本提示，就能生成高质量的3D资产，比如能生成精致的羊角面包、高度精细的狮子头金属雕塑等各类物品的3D模型。
• 用户引导生成：可接受定制的3D模型作为初始化，方便用户引导资产生成，例如能以特定风格生成如米开朗基罗风格的狗狗看手机新闻雕像等模型。

产品特色

• 几何与外观解耦：区别于传统方法，将几何和外观分开建模学习。在几何学习上，采用混合场景表示，并将提取的表面法线编码作为图像扩散模型的输入；外观建模方面，引入空间变化的双向反射分布函数（BRDF），学习表面材质以实现生成表面的逼真渲染。
• 更好的引擎兼容性：这种解耦框架与流行图形引擎更兼容，支持对生成的3D资产进行重新照明、编辑和物理模拟等操作。

应用场景

• 游戏开发场景：游戏开发者在设计新游戏场景和角色时，可利用Fantasia3D的零样本生成功能，快速获得各种风格的3D模型，像奇幻风格的建筑、独特造型的角色等，丰富游戏内容。同时，通过用户引导生成功能，开发者能基于已有的基础模型，按照游戏的特定需求进行定制化开发，提高开发效率。
• 动画制作场景：动画师在创作动画时，借助Fantasia3D生成高质量的3D资产，如细腻的食物模型、精美的道具模型等，用于丰富动画的细节。并且，其支持的重新照明、编辑等功能，能帮助动画师更好地调整模型在不同场景下的表现，提升动画的视觉效果。

技术原理解析

在几何建模方面，使用DMTET作为3D几何表示，初始化为3D椭球体。通过渲染从DMTet提取的网格的法线图（以及早期训练阶段的对象掩码）作为稳定扩散的形状编码，来优化DMTET的参数。在外观建模上，将空间变化的双向反射分布函数（BRDF）建模引入文本到3D生成中，学习预测外观的三个组件（即kd、krm和kn）。几何和外观建模都由分数蒸馏采样（SDS）损失监督。

使用指南

首先，明确自己的需求，是进行零样本生成还是用户引导生成。若选择零样本生成，只需输入清晰准确的文本提示，如“一个带有奶油和棉花糖的热巧克力杯”等描述，Fantasia3D即可生成相应3D资产。若选择用户引导生成，先准备好定制的3D模型作为初始化，再结合文本提示，就能生成符合需求的3D资产。