Light-A-Video:解决视频重光照难题,提升光照与图像质量

AI快讯5天前发布 niko
8 0
AiPPT - 一键生成ppt

视频重光照领域发展受阻:图像重光照技术因大规模数据集和预训练扩散模型取得进展,可视频重光照却因训练成本高和缺乏优质数据集而滞后。单纯将图像重光照模型逐帧用于视频,会出现光源与重光照外观不一致,致使视频闪烁。

Light-A-Video 应运而生 :为解决上述问题,研究团队推出 Light-A-Video,这是一种无需训练就能实现时间上平滑视频重光照的方法。它借鉴图像重光照模型,引入两个关键模块强化光照一致性。

关键模块一:一致光注意力模块 :研究人员设计的一致光注意力(Consistent LightAttention,CLA)模块,增强自注意力层内的跨帧交互,稳定背景光源生成。

关键模块二:渐进光融合策略 :基于光传输独立性原理,团队采用线性融合策略,运用渐进光融合(Progressive LightFusion,PLF)策略,混合源视频与重光照外观,保障光照时间上的平滑过渡。

实验效果显著 :实验中,Light-A-Video大幅改善重光照视频的时间一致性,同时维持图像质量,确保跨帧光照过渡一致。其框架展示的源视频处理过程为:先对源视频噪声处理,再经 VDM模型逐步去噪,预测的无噪声组件作为一致目标,一致光注意力模块注入光照信息转变为重光照目标,最后渐进光融合策略合并目标,为当前步骤提供精细方向。

技术意义重大 :Light-A-Video 的成功,既展现视频重光照技术潜力,也为后续相关研究指明方向。

© 版权声明
智谱清言 - 国产最强AI模型