FunClip – 阿里达摩院开源的AI自动视频剪辑工具

AI工具1个月前更新 niko
2 0 0

介绍 FunClip:一款创新的视频剪辑工具

FunClip是由阿里达摩院开发的一款全开源、可本地部署的自动化视频剪辑工具。它的核心功能是利用阿里巴巴通义实验室的FunASR Paraformer系列模型,对视频进行自动化的话语识别,将语音转化为文本。用户可以基于识别结果,选取特定的文本或发言人,实现视频的快速裁剪。FunClip的突出特点包含高精度中文ASR模型集成、热词定制、发言人识别功能,以及提供Gradio用户交互界面。此外,它还支持对视频进行多段裁剪,并能自动生成SRT字幕文件。

此工具的支持展现在以下方面:

  • 自动化辨声辨识:通过FunASR Paraformer系列模型,实现视频的自动语音识别与转换。
  • 热词定制化:用户能够自定义实体名称、人物名等,提升这些词汇的辨识度。
  • 发言人识别:整合CAM++模型,依据自动识别的发言人ID来裁剪特定的视频片段。
  • 视频剪裁:允许用户基于识别文本或预定发言人来切片视频。
  • Gradio交互体验:带来精简流程,用户可以在服务器上搭建并通过网络浏览器操作。
  • 多段剪辑支持:为视频编辑提供更大的灵活性。
  • 自动字幕生成:剪辑后能让SRT字幕文件自动生成。
  • 命令行调用:方便用户在命令行中可以实现视频的整理和剪辑。

以下是FunClip的官方链接:

使用FunClip的步骤:

部署与体验FunClip可以通过以下三种方法:

方法一:本地部署 Gradio

  1. 确保你的计算机具备Python和Git环境。
  2. 通过终端执行如下命令以克隆工程和安装要求:
    bash
    git clone https://github.com/alibaba-damo-academy/FunClip.git
    cd FunClip && pip install -r ./requirments.txt
  3. 通过终端运行python funclip/launch.py开始FunClip。
  4. 在浏览器中访问localhost:7860以体验FunClip。

方法二:在线Demo体验

  1. 来访在线Demo链接,上传视频或音频,点击“识别”。
  2. 创建所需文字片段或设置发言人和字幕配置。
  3. 通过“裁剪”或“裁剪+字幕”来获取结果。

方法三:命令行操作

  1. 通过终端克隆GitHub仓库:
    bash
    git clone https://github.com/alibaba-damo-academy/FunClip.git
  2. 安装依赖并使用FunClip来识别和剪辑视频文件:
    bash
    cd FunClip && pip install -r ./requirments.txt
    python funclip/videoclipper.py --stage 1 --file examples/2022云栖大会_片段.mp4 --output_dir ./output
  3. 使用裁剪命令获取特定视频片段和对应的srt字幕文件:
    bash
    python funclip/videoclipper.py --stage 2 --file examples/2022云栖大会_片段.mp4 --output_dir ./output --dest_text '指定文本' --start_ost 0 --end_ost 100 --output_file './output/res.mp4'

FunClip为视频剪辑提供了快速而且专业的解决方案,它提高了媒体处理的效率和质量。

© 版权声明

相关文章

暂无评论

暂无评论...