TAO微调方法助力开源模型发展,成绩逼近顶级闭源模型

AI快讯2个月前发布 niko
14 0
AiPPT - 一键生成ppt

TAO微调方法为开源模型带来新契机 数据智能公司Databricks发布的全新大语言模型微调方法TAO(Test-time AdaptiveOptimization),给开源模型的发展注入了新活力。借助无标注数据与强化学习,TAO在削减企业成本方面效果显著,在基准测试里也成绩优异。

TAO微调模型性能突出据科技媒体NeoWin报道,经TAO微调的LLaMA3.370B模型,在金融文档问答以及SQL生成等任务上,展现出超越传统标注微调方法的性能,甚至与OpenAI的顶级闭源模型相差无几。这无疑是开源模型在与商用AI产品竞争中的重大突破。

TAO方法核心理念独特 TAO方法的核心在于 “测试时计算”理念,它能自动探寻任务的多样性,结合强化学习优化模型,有效规避了传统微调所需的人工标注成本。在多项企业基准测试中,TAO微调的Llama模型表现出色。在FinanceBench基准测试里,该模型在7200道SEC文档问答中斩获85.1的高分,超越传统标注微调(81.1)和OpenAI的o3- mini(82.2);在BIRD – SQL测试中,TAO微调的Llama模型得分56.1,接近GPT -4o的58.1,远超传统标注微调(54.9);在DB Enterprise Arena中,TAO模型得分47.2,虽略逊于GPT -4o的53.8,但竞争力强劲。

TAO技术前景广阔TAO技术为开源模型的持续进步开辟了新路径。随着用户使用量增多,模型会通过反馈数据自我优化。目前,Databricks已在Llama模型上开展私测,企业可申请参与体验。这一新技术是开源AI领域的创新突破,也为未来大语言模型发展指明方向。随着更多企业参与,TAO微调方法有望推动开源模型性能提升,让开源AI在商业化应用中释放更大潜力。

© 版权声明
Trea - 国内首个原生AI IDE