谷歌发布专为深度思考模型打造的AI推理特化版TPU v7芯片

谷歌发布强大AI推理芯片TPU v7 谷歌推出了首款AI推理特化版芯片，代号Ironwood，即TPUv7，专为深度思考模型打造。这一芯片的出现，在AI领域引发了广泛关注。

TPU v7性能卓越 TPUv7的FP8峰值算力达4614TFlops，性能是2017年第二代TPU的3600倍，与2023年的第五代TPU相比也有10倍提升。其最高配集群可拥有9216个液冷芯片，峰值算力42.5ExaFlops，是目前全球最强超级计算机EL CaPitan的24倍。

满足新计算需求随着AI从响应式向主动生成洞察和解读转变，需要满足巨大计算和通信需求的芯片及软硬协同设计。深度思考的推理模型多采用MoE架构，计算需求超出单个芯片容量，而TPUv7的设计思路正是减少芯片上的数据移动和延迟。

硬件优势明显 与TPU v6相比，TPU v7的高带宽内存 (HBM) 容量为192GB，是上一代的6倍，单芯片内存带宽提升到7.2TBps，是上一代的4.5倍。其ICI网络双向带宽提升至1.2 Tbps，是上一代的1.5倍，能效也翻倍。

软硬协同出色 TPU v7配备增强版SparseCore ，还支持GoogleDeepMind开发的机器学习运行时Pathways，能跨多个TPU芯片实现高效分布式计算。谷歌计划将其整合到谷歌云AI超算，支持多项业务。

引发行业竞争热议 TPUv7发布后，网友纷纷将其与英伟达产品对比。它与英伟达B200基本对标，AI芯片市场竞争愈发激烈，亚马逊、微软等也在积极布局推理芯片。