杨立昆谈AI发展关键限制Meta首席AI科学家杨立昆在接受海外播客专访时，明确指出当前AI发展存在三大关键限制。其一，物理世界的复杂性远超语言，尽管语言被视为智能象征，但其离散性使其相对简单，而预测视频内容这类涉及对物理世界理解的任务，对AI来说极具挑战。其二，莫拉维克悖论凸显计算机在处理物理任务上的短板，计算机能轻松应对下棋、数学难题等离散对象和符号空间任务，却难以完成如操纵物体等简单物理任务。其三，感官信息量远超语言，这导致即便大语言模型在某些领域表现出色，我们仍未拥有真正能与人类和动物能力相媲美的机器人。
机器学习的三种范式解读杨立昆介绍了机器学习的三种范式。监督学习是最经典的方式，通过向系统展示图像并告知正确答案来训练，系统依据输出结果调整参数，从而具备泛化能力。强化学习则不提供正确答案，仅反馈结果好坏，类似人类学习骑自行车的过程，但在现实世界应用中效率极低。自监督学习是推动自然语言理解和聊天机器人发展的关键，让系统学习输入数据的内在结构，大语言模型便是基于此原理训练。
莫拉维克悖论与AI发展的关联莫拉维克悖论深刻揭示了AI发展的限制。计算机在处理离散任务时表现出色，然而面对现实世界的复杂物理任务却力不从心。例如，婴儿能轻松理解重力等物理现象，动物也具备良好的“直观物理学”能力，但计算机却难以复制。同时，通过对比大语言模型训练数据量和孩子通过视觉系统接收的信息量发现，仅依靠文本训练难以实现接近人类水平的AI，理解真实世界是AI发展的重大难题。
AI模型训练资源的现状与展望杨立昆认为用于训练AI模型的全球资源远未耗尽。大量文本知识尚未数字化，许多发达国家存在大量未公开数据，世界多地还有丰富的文化和历史数据有待挖掘。他强调不应过分纠结于意识本质问题，从进化角度看，人类的独特性源于多种因素，这在社会群体中具有重要意义。
抽象表征对深度学习的重要性从观测中推导出抽象表征对深度学习至关重要，这是深度学习的核心所在。当前大语言模型在推理时采用的搜索方式原始且计算成本高，与人类思考方式不同。人类通过内在抽象空间推理，拥有“心理模型”以预测行动后果并进行分层规划，而如何在机器中实现这一点是未来挑战。
未来十年：机器人的黄金时代杨立昆预测未来十年将是机器人的十年。尽管机器人已广泛应用于特定场景，但智能化程度尚不足以应对现实世界。许多公司寄望AI进步提升机器人智能，虽然短期内难以确定能否实现，但未来十年AI有望取得重大突破，创造出更通用的机器人。
JEPA架构：AI领域的新希望JEPA架构即联合嵌入预测架构，并非Transformer的替代品，而是一种宏观架构，内部模块可包含Transformer。它可作为现有大语言模型的替代方案，解决了在高维空间如视频中难以预测的问题。通过学习输入的抽象表示，在抽象空间中进行预测，JEPA为AI发展提供了新方向。
