Clips AI

「Clips AI」是什么

Clips AI是一款开源的Python库，它能自动将长视频转换为片段。用户只需编写几行代码，就能将视频分割成多个片段，还能把视频的宽高比从16:9调整为9:16 。其独特之处在于专注于以音频为中心、基于叙事的视频处理，为用户带来便捷高效的视频处理体验。

功能解析

• 自动片段生成：能依据视频的转录文本，自动分析并将视频分割成多个片段。比如对于一个访谈视频，可按不同话题自动切割成多个小片段，方便用户快速定位和使用所需内容。
• 视频宽高比调整：可将视频的宽高比从16:9转换为9:16等多种格式。在如今多平台传播的时代，不同平台对视频格式要求不同，该功能可满足在手机端等竖屏平台展示视频的需求。

产品特色

• 专注特定类型视频：特别针对播客、访谈、演讲和布道等以音频为中心、基于叙事的视频进行优化处理。相比其他通用视频处理工具，在处理这类视频时更具针对性和专业性，能更好地挖掘视频中的关键内容。
• 利用先进算法：剪辑算法通过分析视频转录文本识别并创建片段，调整宽高比的算法能动态重新构图视频，聚焦当前说话者。与其他同类产品相比，算法更加智能和高效，处理结果更符合用户预期。

应用场景

• 内容创作场景：内容创作者在制作短视频时，可利用Clips AI快速从长视频素材中提取关键片段，还能调整片段格式以适配不同平台。比如制作抖音短视频时，将横屏长视频素材转为竖屏小片段，提高创作效率和视频传播效果。
• 教育教学场景：教师在准备在线课程时，可使用Clips AI将较长的教学视频按知识点分割成多个小片段，方便学生自主学习。学生可以根据自身需求快速找到所需知识点对应的视频片段，提升学习效率。

使用指南

1. 安装Python依赖项，强烈建议使用虚拟环境（如venv）避免依赖冲突。使用命令pip install clipsai和pip install whisperx@git+https://github.com/m-bain/whisperx.git进行安装。
2. 安装libmagic和ffmpeg。
3. 创建片段：由于片段是通过视频转录文本找到的，所以首先要转录视频。转录使用WhisperX进行，示例代码如下：pythonfrom clipsai import ClipFinder, Transcribertranscriber = Transcriber()transcription = transcriber.transcribe(audio_file_path=\"/abs/path/to/video.mp4\")clipfinder = ClipFinder()clips = clipfinder.find_clips(transcription=transcription)print(\"StartTime: \", clips[0].start_time)print(\"EndTime: \", clips[0].end_time)
4. 调整视频宽高比：调整视频宽高比需要Hugging Face访问令牌，因为使用了Pyannote进行说话者分割。示例代码如下：pythonfrom clipsai import resizecrops = resize(video_file_path=\"/abs/path/to/video.mp4\",pyannote_auth_token=\"pyannote_token\",aspect_ratio=(9, 16))print(\"Crops: \", crops.segments)