阿里推出AI角色动画项目Motionshop，实现3D替换视频中人物。

探索Motionshop：AI驱动的3D角色动画创新工具

在数字娱乐和内容创作的新时代，阿里巴巴的智能计算研究院带来了一个令人振奋的创新——Motionshop。这一AI角色动画框架，是XR实验室与TIDE三维渲染团队联合开发的成果，它能够将现实世界中的动作视频无缝转换为3D化身，同时保留视频中的原有背景和其他元素。Motionshop的设计理念在于，通过先进的视频处理技术和角色动画技术，创造出一个有趣且逼真的3D角色模型，实现现实与虚拟的无缝结合。

功能与特色

Motionshop的主要功能特色可以从以下几个方面进行概述：

• 3D化身转换：用户只需上传视频，Motionshop的AI就能智能地识别并替换视频中的主要人物为3D模型。
• 动作同步与自然感：除了替换，Motionshop还能精确地复刻原视频的动作细节，确保3D角色的动作流畅，视觉效果逼真。
• 虚拟与现实的融合：该框架能够将现实世界的人物与3D虚拟角色完美融合，为视频内容创造无限可能性。

技术原理

Motionshop的技术架构分为两个核心部分：视频处理流程和姿态估计与渲染流程。这两个流程并行工作，并通过高性能光线追踪渲染器TIDE实现快速的视频替换。以下是Motionshop的具体技术细节：

1. 角色检测：利用先进算法精确识别视频中的角色。
2. 视频对象分割与跟踪：进行像素级的分割和跟踪，为修复和替换做准备。
3. 视频修复：修复视频中的瑕疵，完善背景。
4. 姿态估计：应用CVFFS等方法稳定捕捉角色动作姿态。
5. 动画映射：将估计出的姿态映射到3D模型上。
6. 光影估计：进行精细的光影估计，实现视觉效果的统一。
7. 3D渲染：使用TIDE渲染引擎生成逼真的3D图像序列。
8. 视频合成：合成3D渲染图像与修复后的背景，创建无缝的视频序列。

使用指南

要使用Motionshop，只需遵循以下步骤：

1. 访问ModelScope魔搭社区Demo体验地址。
2. 准备一段视频，确保视频人物主题明确，时长控制在15秒以内。
3. 上传视频，系统会自动选取视频中的人物。
4. 从提供的角色模型中选择一个进行替换。
5. 点击生成视频按钮，稍等片刻即可获得结果。

Motionshop作为一项革命性的视频动画技术，为内容创作者提供了一个高效、创新的工具，使他们能够轻松地创造出令人印象深刻的3D角色动画。无论是在电影后期制作、游戏角色设计，还是其他多媒体内容制作领域，Motionshop都展现出其巨大的潜力和应用前景。