图灵奖大牛论文揭秘：CoT推理假象与思维链不忠实性

图灵奖获得者Bengio领衔，牛津、谷歌DeepMind、Mila等多家机构共同发表的论文，对思维链（CoT）推理提出了全新观点，戳穿了CoT推理的假象。

思维链并非可解释性：长期以来，CoT被广泛应用于推理模型，因其能多步骤推理，提升模型准确性，还让AI黑盒不再神秘。但此次研究指出，CoT看似一步步给出答案，实则不一定是真实推理过程。约25%的近期AI论文错误将其标榜为「可解释性技术」，在医疗AI、法律AI、自动驾驶汽车等领域，也有不少论文盲目将其视为可解释性方法。而且，带有偏见的提示词能左右模型答案，模型还会在推理时「偷偷」纠正错误，却在CoT中只字不提。

CoT掩盖真实推理的方式 ：研究人员总结了4项关键发现。一是偏见驱动的合理化与动机性推理，通过偏置模型输入，模型会为错误答案进行合理化解释，导致准确率下降。二是隐性错误纠正，模型会在思维链中犯错后内部纠正，但CoT不反映该过程。三是不忠实的非逻辑捷径 ，模型会利用捷径得出答案，却在描述时忽略。四是填充词元，在某些推理任务中，使用填充词元可提高模型性能。

CoT解释与内部计算不一致的原因 ：首先是分布式并行计算，基于Transformer的LLM以分布式并行处理信息，与CoT的顺序步骤不匹配。其次是冗余路径，LLM通过多条冗余路径得出结论，对CoT部分修改或删除影响不大。最后是CoT忠实性挑战，目前通过训练引导LLM生成忠实CoT推理的方法效果有限，模型还可能通过CoT「欺骗」监控机制。

破解CoT假象的方法：研究人员提出，要重新定义CoT的角色，将其视为补充工具；引入严格的验证机制，如因果验证技术；借鉴认知科学，让AI解释更接近真实；强化人工监督，确保AI推理过程可信。