谷歌发布专为深度思考模型打造的AI推理特化版TPU v7芯片

AI快讯1周前发布 niko
5 0
AiPPT - 一键生成ppt

谷歌发布强大AI推理芯片TPU v7 谷歌推出了首款AI推理特化版芯片,代号Ironwood,即TPUv7,专为深度思考模型打造。这一芯片的出现,在AI领域引发了广泛关注。

TPU v7性能卓越 TPUv7的FP8峰值算力达4614TFlops,性能是2017年第二代TPU的3600倍,与2023年的第五代TPU相比也有10倍提升。其最高配集群可拥有9216个液冷芯片,峰值算力42.5ExaFlops,是目前全球最强超级计算机EL CaPitan的24倍。

满足新计算需求随着AI从响应式向主动生成洞察和解读转变,需要满足巨大计算和通信需求的芯片及软硬协同设计。深度思考的推理模型多采用MoE架构,计算需求超出单个芯片容量,而TPUv7的设计思路正是减少芯片上的数据移动和延迟。

硬件优势明显 与TPU v6相比,TPU v7的高带宽内存 (HBM) 容量为192GB,是上一代的6倍,单芯片内存带宽提升到7.2TBps,是上一代的4.5倍。其ICI网络双向带宽提升至1.2 Tbps,是上一代的1.5倍,能效也翻倍。

软硬协同出色 TPU v7配备增强版SparseCore ,还支持GoogleDeepMind开发的机器学习运行时Pathways,能跨多个TPU芯片实现高效分布式计算。谷歌计划将其整合到谷歌云AI超算,支持多项业务。

引发行业竞争热议 TPUv7发布后,网友纷纷将其与英伟达产品对比。它与英伟达B200基本对标,AI芯片市场竞争愈发激烈,亚马逊、微软等也在积极布局推理芯片。

© 版权声明
Trea - 国内首个原生AI IDE