AI成本难题与新推理范式的诞生
在AI领域,降低成本始终是一大挑战。两个月前DeepSeekR1的出现令人瞩目,其不仅成本极低,大模型回答问题时展现的思维链CoT也发挥了重要作用。而如今,大规模语言模型(LLMs)虽展示出强大推理能力,但生成「思维链(Chain-of-Thought, CoT)」推导答案时,计算成本和延迟较高。在此背景下,Zoom的研究团队提出全新推理范式——「草稿链(Chain-of-Draft,CoD)」,旨在通过模仿人类简洁思维过程提升推理效率,进而节省成本。
草稿链CoD:模仿人类简洁思维
无论是OpenAI的o1还是DeepSeek的R1,运用「思维链」处理任务虽表现出色,但推理需大量计算资源,输出冗长且延迟高。Zoom研究人员指出,人类解决问题方式更为简洁,依赖草稿或速记捕捉关键见解。受此启发,他们提出「草稿链」范式,鼓励模型生成极简中间推理步骤,抓住解决问题关键信息。这一灵感源于人类认知过程,在解决复杂任务时,人类通常记录关键信息推进解决方案。研究论文显示,该方法减少冗余,降低计算成本和延迟,同时保持与「思维链」相当的准确性。
草稿链CoD的实际效果展示
通过简单算术题可直观感受直接回答(标准)、「思维链」与「草稿链」的区别。标准回答直接输出答案,缺乏推理过程;「思维链」生成冗长推理;「草稿链」则简化为简洁方程,减少Token数,保持透明性和正确性。为评估「草稿链」有效性,Zoom研究团队进行多种基准测试,包括算术推理、常识推理和符号推理任务。结果表明,草稿链在「准确性」上与思维链相当,某些任务中表现更好,同时显著减少Token使用和延迟。例如算术推理任务中,使用草稿链的GPT-4o和Claude3.5Sonnet模型在GSM8k数据集上虽准确率略低于思维链,但Token使用减少80%,延迟降低76.2%和48.4%。在常识推理和符号推理任务中同样表现出色。
草稿链CoD的优势与局限
Zoom研究人员提到,与「草稿链」类似,去年已有「简洁思维(ConciseThoughts,CCoT)和Token预算感知LLM推理,但该方法存在不足。而「草稿链」采用每步预算,适应各种结构化推理技术。不过,「草稿链」对于需要大量反思、自我纠正或外部知识检索的任务效果可能较差。这项研究的重要意义在于可能改变企业部署AI的成本,让AI模型以更少资源更便宜地运行,对成本敏感场景适用。例如,对于每月处理100万条推理查询的企业,「草稿链」可大幅降低成本。此外,在实时支持、教育和对话式AI等领域,「草稿链」可使应用程序响应更迅速。但OpenAI建议保持「思维链(CoT)监控」,以便检测模型不当行为。
AI推理范式的不断进化
从「思维链」到「草稿链」,AI推理范式持续进化。在应用场景不断扩展的当下,成本与速度成为关键指标。CoD的出现,体现人们在保持大模型进步的同时,探索降低成本、加速AI普及的努力。