AI进展新洞察：新技术涌现与范式转移背后的数据驱动

康奈尔大学博士生JACK MORRIS在博文中指出，AI领域发展的核心驱动力并非理论革新，而是新数据来源的利用。

• AI进展表象与现实 ：过去十五年，AI进步显著，甚至有“AI摩尔定律”的说法。不过，作者认为进步虽在持续，但不一定源于学界和业界研究社区的思想供给。
• 技术突破与研究动态 ：过去几年，系统层面的研究成果丰硕。如2022年斯坦福大学提出的FlashAttention算法，能更好利用语言模型内存；2023年谷歌开发的推测解码技术，加速了模型推理；2024年互联网爱好者团队开发的Muon优化器，可能成为训练语言模型的主流；2025年DeepSeek发布的DeepSeek – R1，推理能力与谷歌和OpenAI的闭源模型相当。
• AI的四个关键范式转移 ：虽研究众多，但部分人认为AI进展放缓，如Grok 3和GPT – 4.5能力提升有限。AI发展可概括为四个核心突破节点，即深度神经网络兴起、Transformer架构与大规模语言模型结合、基于人类反馈的强化学习、模型的推理能力。这些突破的底层机制早已有之，关键是解锁了新数据源，如Imagenet数据集、互联网文本数据、人类标注、验证器等。
• 未来范式预期 ：下一个范式转移将来自解锁新数据源，视频和机器人是潜在方向。视频数据丰富，一旦模型或计算机性能提升，谷歌可能会利用YouTube数据训练模型；而机器人的数据收集和处理若能优化，也将为AI发展提供助力。