阿里通义实验室R1-Omni:RLVR与全模态LLM结合的创新成果

AI快讯3个月前发布 niko
13 0
AiPPT - 一键生成ppt

RLVR与全模态LLM结合的创新探索:阿里通义实验室薄列峰团队在AI领域取得新突破,首次将DeepSeek同款RLVR应用于全模态LLM,尤其是包含音频、动态视觉内容的全模态LLM,聚焦情感识别任务。

R1-Omni模型的独特构建:团队采用受DeepSeek-R1训练方法启发的冷启动策略,将GRPO与RLVR相结合,对HumanOmni-0.5B进行微调与优化,构建出R1-Omni模型。

模型性能的显著提升 :实验评估中,R1-Omni在推理能力、理解能力和泛化能力方面均优于原始的HumanOmni-0.5B、EMER-SFT、MAFW-DFEW-SFT等基线模型,展现出强大优势。

开源推动行业发展 :目前,基础模型HumanOmni-0.5B、冷启动模型EMER-SFT、MAFW-DFEW-SFT以及最终模型R1-Omni已全部开源,为行业发展提供助力。

© 版权声明
Trea - 国内首个原生AI IDE