复杂与简约的永恒探寻在科学与技术的发展进程中，复杂与简约的较量从未停歇。如今，当大模型频繁占据科技头条，人们不禁思考：古老的“奥卡姆剃刀”原则，在这个追求极致性能的时代，是否依然熠熠生辉？
奥卡姆剃刀的历史源远流长。人类对简洁的追求跨越不同文明。从东方《道德经》的“为学日益，为道日损”，到亚里士多德的“自然界选择最短路径”，诸多先哲都表达了对简洁的崇尚。而13世纪奥卡姆的威廉提出的“若无必要，勿增实体”，更是将这一理念以简洁的语言表述出来。
这一原则源于中世纪经院哲学的论战。当时，哲学家们对“共相”“本质”等抽象概念争论不休，奥卡姆率先意识到这场思辨的虚无，他拒绝谈论无法感知的“东西”，认为概念基于感知行为。“奥卡姆剃刀”的比喻在1649年诞生，取意于中世纪抄写手稿时用于擦除字母的刮刀，旨在改进思想表达，节省变量考虑。
在科学史上，奥卡姆剃刀有着诸多应用实例。17 -18世纪，化学家解释燃烧现象时，“燃素说”引入假想实体“燃素”，但拉瓦锡的“氧化理论”仅用已知元素的相互作用就解释了燃烧，因其更简洁符合奥卡姆剃刀原则，最终获得认可。爱因斯坦抛弃“以太”假设提出狭义相对论，达尔文用“自然选择”解释物种起源，这些都强化了科学界对该原则的信心。
然而，奥卡姆剃刀追求的“简洁”不能被简单化理解。随着科学研究深入，许多理论变得更复杂，因为新现象需要更精细解释框架。以广义相对论为例，其数学框架虽比牛顿力学复杂，但成功解释了经典力学无法阐明的现象，所以评判理论不能仅看复杂程度，而要考察解释力与复杂性是否相称。同时，机械降神式的简单解释往往违背奥卡姆剃刀本质，如用“外星人绑架”解释睡眠瘫痪，相比之下，神经生理学解释虽复杂但基于科学发现，无需额外假设。
当奥卡姆剃刀遇到概率，“定量形式奥卡姆剃刀”即贝叶斯剃刀应运而生。统计学家哈罗德·杰弗里斯将传统奥卡姆剃刀原则数学化并融入贝叶斯概率框架，为模型选择和科学推理提供基于概率的严格方法。通过“掷骰子”的例子可以看到，贝叶斯剃刀能在不同复杂度模型间进行概率比较。在计算微生物代谢通量分布时，贝叶斯方法倾向简单模型，最大似然方法可能引入更复杂模型，而简单模型在生物学研究中有避免噪声过度拟合的优势。
在机器学习中，如何权衡模型的简洁性与复杂性是重要议题。只根据奥卡姆剃刀可能选择简单模型，但复杂模型能更好拟合数据，不过可能出现过拟合。为解决这一问题，正则化技术通过在损失函数中添加正则化项惩罚模型复杂度，提高泛化能力；信息瓶颈理论旨在压缩输入数据并提取有用信息，其工具自编码器通过低维表示和重构误差优化实现信息压缩，符合奥卡姆剃刀对复杂性的约束；“压缩= 智能”强调简约性在智能行为中的核心作用；在可解释机器学习领域，局部可解释模型和SHAP值体现了奥卡姆剃刀在简约性与解释力间的平衡。
人们对模型简约性的理解存在差异，常将“简约性”和“稀疏性”混淆。实际上，稀疏模型不一定比参数少但对多种输入有响应的密集模型更简约。最近研究区分了约束简约性与组件简约性，约束简约性体现为参数少等特征的模型，组件简约性将模型复杂性定义为有意义组件的数量。以建模人类语言为例，组件精简的模型试图用最少语法规则解释语言丰富性。
复杂的数据驱动型人工智能模型的兴起对简洁假设发起挑战。AlphaFold通过复杂架构和大量数据高精度预测蛋白质结构，大语言模型从大量数据中学习生成文本。然而，奥卡姆剃刀仍有讨论价值。过于严格遵循可能错过有价值见解甚至导致模型错误，复杂模型灵活性高，能考虑更多因素。但简约性也引领了科学发展，爱因斯坦在发现广义相对论的过程中，重新评估了简单性的作用。生命科学领域也印证了简约性原则，复杂系统的行为可通过简单局部规则实现。
综上所述，人工智能时代对奥卡姆剃刀原理的讨论，让我们认识到简约性和复杂性并非对立，而是互补工具。科学家需根据具体情况，在两者间找到动态平衡，以通向更深刻的理解。
