Adobe发布ActAnywhere，AI视频背景生成模型。

什么是ActAnywhere

由斯坦福大学和Adobe Research联合开发的ActAnywhere，是一项创新的视频生成技术，专注于解决视频背景生成的挑战。该技术特别适用于需要将前景对象（如人物）与新背景融合的应用场景，如电影制作和视觉效果（VFX）领域，能够显著提升视频背景制作的过程，节省人工合成的时间和资源。

ActAnywhere的官方网站提供了项目的详细信息：ActAnywhere官方主页。此外，相关的技术细节可以在发表的论文中找到：Arxiv论文。

ActAnywhere的技术亮点

ActAnywhere具有以下突出特性：

1. 自然融合：能够根据前景主体的动作和外观自动生成匹配的背景，使前景与背景的交互显得更加自然无缝。
2. 定制背景生成：用户可以通过提供一个条件帧，即一张描述所需背景的图像，来引导背景的生成，包括特定建筑、自然景观或室内环境。
3. 时间序列一致性：利用时间自注意力机制保证视频在时间上的连续性，无论是相机移动、光照变化还是阴影效果。
4. 自监督学习：在未标记的大规模数据集上进行自监督训练，无需人工标注即可学习生成背景视频的技能。
5. 零样本学习：对未见过的新数据（如非人类主体）进行生成，显示出模型强大的泛化能力。

ActAnywhere的工作流程

ActAnywhere生成逼真且连贯视频背景的流程如下：

1. 数据准备：通过前景分割技术（如Mask R-CNN）提取前景对象序列和掩膜，并引入描述所需背景的图像（条件帧）。
2. 特征编码：使用预训练的变分自编码器（VAE）将前景对象序列编码为潜在特征，并与掩膜序列对齐。
3. 扩散过程：训练阶段通过VAE对视频帧进行编码并添加高斯噪声，测试时通过逆向扩散逐步去噪生成视频帧。
4. 时间注意力机制：在U-Net的去噪过程中使用运动模块和时间自注意力块，以确保时间一致性，并通过CLIP编码器确保背景与条件帧的一致性。
5. 训练目标：通过简化的扩散目标，即预测添加的噪声，来训练模型。
6. 数据增强：应用随机裁剪和腐蚀操作来增强数据。
7. 模型训练：在大规模视频数据集上训练，使用AdamW优化器，并微调U-Net。
8. 生成过程：将前景对象序列和条件帧输入模型，生成与前景运动相协调的视频背景。

ActAnywhere的潜在应用

ActAnywhere的应用范围广泛，包括但不限于：

• 视频背景替换：提供电影、广告、VR和AR等场景下的背景替换解决方案。
• 视觉效果增强：在VFX制作中生成动态天气和光影变化等效果。
• 创意内容制作：为艺术家和内容创作者提供实现创新想法的工具。
• 教育和培训：建立模拟场景，用于教育理解和安全培训。
• 游戏和娱乐：为游戏提供动态背景，丰富用户体验，也可用于制作电影预告片、音乐视频等娱乐产品。

ActAnywhere的先进技术为视频制作和创意产业带来了新的可能性，其应用前景十分广阔。