Follow-Your-Click – 腾讯等开源的图像到视频模型，可生成局部动画

什么是Follow-Your-Click技术

Follow-Your-Click（FYC）是一种先进的图像到视频（I2V）生成技术，由腾讯公司的混元团队，清华大学和香港科技大学的研究人员共同开发。这项技术允许用户通过点击并添加简短的动作描述，将静态图像转换成动态视频，特别专注于生成局部的动画效果，而非整个场景的移动。

FYC的官方网站和资源链接

• 官方项目主页：https://follow-your-click.github.io/
• arXiv研究论文：https://arxiv.org/abs/2403.08268（源码和Demo预估将在4月发布）
• GitHub代码库：https://github.com/mayuelala/FollowYourClick

FYC的主要特点和优势

1. 用户友好的交互：提供直观的用户界面，通过点击和简短的提示词，用户可以轻松指定动画区域和类型。
2. 局部动画：用户可以对图像中特定区域生成动画，如让物体产生微笑、摇摆或移动的效果。
3. 支持多对象：能够同时处理图像中的多个对象，创造出更加复杂和丰富的动画效果。
4. 简短动作提示：简化的动画制作流程，用户只需提供简短的动作描述，FYC便能理解并生成相应动画。
5. 高质量视频输出：采用第一帧遮罩策略和光流控制技术，确保生成的视频质量高且具有真实感。
6. 动画速度控制：用户能够调整动画的速度，满足不同动画场景的需求。

FYC的工作原理解析

1. 用户交互：用户通过在图像上点击来选择动画对象，并提供简短的动作提示，如“摇动”或“微笑”。
2. 图像分割：利用SAM工具，根据用户点击生成对象掩码，将点击转化为可用于动画的区域。
3. 第一帧遮罩：在训练过程中，通过部分遮罩输入图像的潜在表示来增强模型的时间相关性学习能力。
4. 运动增强模块：设计有新的交叉注意力层，增强对动作相关词汇的响应，提升动画效果的准确性。
5. 光流运动幅度控制：通过计算光流的平均幅度并将其投影到位置嵌入中，实现对单个对象运动速度的精确控制。
6. 视频生成：在推理阶段，结合用户的区域掩码和动作提示，生成一系列动画帧，形成连贯的视频。

Follow-Your-Click技术的开发，为用户提供了一个简单而强大的工具，能够在不需要高级动画技能的情况下，将静态图像变为生动的动态视频。这种技术的发展无疑为图像动画化领域带来了新的可能，也为创意表达提供了更多的空间。