探索阿里开源的AI 3D数字人生成框架，Make-A-Character。

3D角色创建的革新：Make-A-Character

概述

Make-A-Character（简称Mach），是由阿里巴巴集团智能计算研究院精心打造的人工智能3D数字人生成框架。这一创新工具致力于通过简洁的文本描述，迅速生成逼真的3D角色模型，以服务于AI代理和元宇宙等新兴领域对于个性化及表情丰富的3D角色的需求。

资源链接

• 项目主页：Make-A-Character
• 研究论文：Arxiv
• 代码库：GitHub
• 在线演示：ModelScope Demo

功能亮点

• 文本驱动的3D角色生成：用户仅需输入文本，如角色的面部特征、发型和服饰，Mach便能准确生成相应的3D角色。
• 高度定制化：Mach允许用户对角色的每一个细节进行微调，无论是眼睛的形状、虹膜的颜色，还是发型和肤色，都可按照用户的需求定制。
• 逼真的渲染技术：结合物理基础的渲染（PBR）技术和真实人类扫描数据，创造出触手可及的角色。
• 全面的角色细节：从眼睛、舌头到全身装扮，每个细节都不放过，确保角色的即时可用性。
• 动画与动态表现：配备高级骨骼系统，支持角色进行各种表情变化和动态表达。
• 行业标准兼容：Mach生成的模型符合3D行业标准，便于进一步的动画和渲染工作。

工作原理解析

Mach的工作流程包括以下几个关键步骤：

1. 文本解析与视觉提示：

2. 输入文本提示，使用大型语言模型（LLM）提取语义信息，生成指导后续图像生成的视觉线索。

3. 生成参考肖像图像：

4. 利用Stable Diffusion模型和ControlNet生成正面姿势、中性表情的参考肖像图像。

5. 密集面部坐标检测：

6. 通过431个面部坐标点，精细重建面部和头部几何结构。

7. 几何结构生成：

8. 根据参考图像和面部坐标，优化3D网格映射，确保几何结构的准确性。

9. 纹理生成与修正：

10. 利用可微渲染技术提取纹理，并通过神经除光方法优化漫反射贴图。

11. 发丝生成：

12. 从2D发型图像到3D发丝的重建，利用先进技术开发出逼真的3D发丝。

13. 资产匹配与角色装配：

14. 将头部与预制的资产如头发、身体、服装等进行匹配，最终组装成一个完整的3D角色模型。

Make-A-Character的创新不仅在于其技术实现，更在于它为未来的3D角色创建提供了一个高效、个性化的解决方案，预示着AI在3D建模领域的巨大潜力。