洛桑联邦理工Nature综述:物理神经网络如何突破AI算力瓶颈?

AI快讯6秒前发布 niko
1 0

传统AI算力的瓶颈:从GPU到物理神经网络的转向

近年来,AI通过聊天机器人、医疗诊断、材料设计等场景深度融入生活,但支撑其发展的传统数字GPU逐渐显露局限——模型规模扩大带来的延迟、能耗攀升,成为智能计算进一步突破的瓶颈。在此背景下,物理神经网络(PNNs)作为一种利用模拟物理系统(如光、电、振动)进行计算的新型架构,被视为突破这一瓶颈的潜在方向。

日前,洛桑联邦理工学院研究团队在《Nature》发表综述论文,从训练角度全面梳理物理神经网络的发展脉络,并提出“从零开始”的普适性研究框架。研究团队表示,“足够的研究投入下,物理神经网络有望重构AI计算的底层逻辑”

洛桑联邦理工Nature综述:物理神经网络如何突破AI算力瓶颈?

论文链接:https://www.nature.com/articles/s41586-025-09384-2

物理神经网络是什么?两类架构解析

物理神经网络是一类利用模拟物理系统执行计算的类神经网络,核心优势在于更直接利用物理规律,理论上比传统硬件更节能、速度更快,未来可覆盖数据中心大型模型运行、边缘设备本地推理等场景。目前主要分为两类:

  • 同构型物理神经网络(Isomorphic PNNs):通过硬件设计实现与数学变换的严格操作级对应。例如电子交叉阵列,其交叉结点的电导值与待乘矩阵元素一一对应,直接执行矩阵-向量乘法。
  • 破缺同构型物理神经网络(Broken-isomorphism PNNs):直接训练硬件的物理变换,无需与传统神经网络的数学操作精确对应,更侧重利用物理系统的原生特性。

洛桑联邦理工Nature综述:物理神经网络如何突破AI算力瓶颈?

图|物理神经网络的两类架构

训练物理神经网络:从模拟到物理感知的六条路径

无论应用场景如何,物理神经网络的落地都需解决训练问题。研究团队梳理了当前主流的六种训练技术:

1. 计算机模拟训练(In silico training):通过构建物理神经网络的“数字孪生”(要么直接描述硬件特征,要么通过输入-输出数据拟合),在数字环境中计算梯度、调整参数,再映射到物理硬件。这是最直接的训练方式,但依赖精准的数字模型。

2. 物理感知反向传播(PAT):无需完美数字模型,仅通过近似预测模型提取梯度——物理系统执行前向传播,数字模型完成反向传播。该方法已在光学、机械系统中验证,能平衡噪声影响与梯度精度,但物理参数更新慢时会拖慢训练。

3. 反馈对齐(FA/DFA):解决物理系统中“权重转置”的硬件难题,通过固定随机反馈权重传递误差信号,无需将前向权重转移至反向传播,提升效率但可能牺牲精度。

4. 物理局部学习(PhyLL):通过正负样本传递的余弦相似度学习,省去层归一化操作,已在声学、微波、光学系统中实现监督与无监督训练,无需掌握硬件详细参数。

5. 零阶梯度与无梯度训练:分为微扰法(采样目标函数估算梯度)与基于种群的启发式算法(如遗传算法),无需直接计算梯度,适用于复杂物理系统。

6. 物理动力学梯度下降:通过线性倒数系统、波散射等物理机制直接实现梯度下降,无需数字孪生,是更贴近物理本质的训练方式。

商业可行性:能效需超数字设备数千倍

物理神经网络要实现商业落地,能效是核心指标。研究团队指出,受限于数字大模型的快速进展与基础设施依赖,物理神经网络的能效需较传统数字电子设备高出数千倍乃至数百万倍,才能具备竞争力。

此外,算力突破并非仅靠硬件升级——Transformer架构的成功,正是算法与可扩展硬件的协同结果。未来物理神经网络需跳出现有算法框架,构建软硬件协同的新型组合,例如针对物理系统原生运算优化架构,而非固守传统神经网络设计。

未来挑战:噪声、适配与神经形态平衡

除了训练与能效,物理神经网络还面临三大突出挑战:

1. 噪声累积:内部随机过程、制造缺陷、参数漂移等噪声的叠加,会影响计算精度。尤其当系统在低功耗下运行时,噪声量级接近信号强度,如何维持精度成为关键。

2. 硬件适配:当前多数神经网络架构未针对物理硬件的原生运算优化,需逐例评估硬件变换是否适合智能计算,效率较低。

3. 神经形态与物理形态平衡:物理神经网络的硬件特性(如CMOS、光子系统)与人类大脑差异显著,如何在借鉴神经形态启发的同时,契合硬件物理特性,是需解决的核心矛盾。

研究团队强调,物理神经网络的核心潜力在于推理场景——利用物理系统实现更快速、更节能的模型推理,这也是其最实际的落地方向。未来随着研究深入,物理神经网络或能打破传统AI算力的边界,实现更高效的智能计算。

© 版权声明