DeepMind研究：大模型推理遇挑战，易成“固执杠精”

从技术演变的视角来看，如今大模型展现出推理行为，但DeepMind的新研究揭示了其推理能力令人担忧的一面。就像曾经的“聪明的汉斯”马并非真懂数学，大模型是否真有推理能力存疑。

大模型推理错误难识别。研究对大模型的无效思考进行分类，有无信息内容、无关内容、误导内容和错误内容。结果显示，大模型对错误内容的识别准确性不到三成，表明其无法处理自身推理错误，也不能独立验证推理过程。

大模型易被带偏。向大模型强行注入无效思考后，大模型并非参数量越大恢复概率越高，尤其在短无关内容上，大模型更易被带偏。在数学、科学及编程测试中，插入无关内容后，部分大模型出现反规模效应。

小模型抗攻击能力强。推理大模型的缺陷为黑客提供可乘之机，黑客通过污染“思考过程”操控答案。小模型对思考注入攻击的抵抗力更强，大模型则更脆弱，需设立单独防御机制。

这些发现说明，当前推理模型在“元认知”和从误导性推理路径中恢复方面有很大改进空间，这是开发更安全可靠大模型的关键考量。