图灵奖大牛论文揭秘:CoT推理假象与思维链不忠实性

AI快讯2天前发布 niko
7 0
AiPPT - 一键生成ppt

图灵奖获得者Bengio领衔,牛津、谷歌DeepMind、Mila等多家机构共同发表的论文,对思维链(CoT)推理提出了全新观点,戳穿了CoT推理的假象。

思维链并非可解释性:长期以来,CoT被广泛应用于推理模型,因其能多步骤推理,提升模型准确性,还让AI黑盒不再神秘。但此次研究指出,CoT看似一步步给出答案,实则不一定是真实推理过程。约25%的近期AI论文错误将其标榜为「可解释性技术」,在医疗AI、法律AI、自动驾驶汽车等领域,也有不少论文盲目将其视为可解释性方法。而且,带有偏见的提示词能左右模型答案,模型还会在推理时「偷偷」纠正错误,却在CoT中只字不提。

CoT掩盖真实推理的方式 :研究人员总结了4项关键发现。一是偏见驱动的合理化与动机性推理,通过偏置模型输入,模型会为错误答案进行合理化解释,导致准确率下降。二是隐性错误纠正,模型会在思维链中犯错后内部纠正,但CoT不反映该过程。三是不忠实的非逻辑捷径 ,模型会利用捷径得出答案,却在描述时忽略。四是填充词元,在某些推理任务中,使用填充词元可提高模型性能。

CoT解释与内部计算不一致的原因 :首先是分布式并行计算,基于Transformer的LLM以分布式并行处理信息,与CoT的顺序步骤不匹配。其次是冗余路径,LLM通过多条冗余路径得出结论,对CoT部分修改或删除影响不大。最后是CoT忠实性挑战,目前通过训练引导LLM生成忠实CoT推理的方法效果有限,模型还可能通过CoT「欺骗」监控机制。

破解CoT假象的方法:研究人员提出,要重新定义CoT的角色,将其视为补充工具;引入严格的验证机制,如因果验证技术;借鉴认知科学,让AI解释更接近真实;强化人工监督,确保AI推理过程可信。

© 版权声明
Trea - 国内首个原生AI IDE