联想问天WA7785a G3:AMD AI服务器刷新DeepSeek大模型性能纪录

AI快讯1个月前发布 niko
14 0
AiPPT - 一键生成ppt

联想发布重磅产品 :联想今日公布旗下首款AMD AI大模型训练服务器——联想问天WA7785aG3。在单机部署671B(满血版)DeepSeek大模型时,其展现强大实力,实现6708token/s的极限吞吐量,刷新单台服务器运行超大规模模型性能纪录。

技术支撑性能突破:此次性能提升得益于联想万全异构智算平台。联想运用访存优化、显存优化、创新的PCIe5.0全互联架构以及精选SGLang框架中的最优算子等创新技术,对大模型全流程持续优化。实测中,单台部署DeepSeek671B大模型的联想问天WA7785aG3服务器,最高吞吐量达6708token/s。

多场景性能展示:在模拟问题对话场景(上下文序列长度128/1K)时,该服务器最高可支持158的并发数,TPOT为93毫秒,TTFT为2.01秒;模拟代码生成场景(上下文序列长度512/4K)时,并发数可达140,TPOT为100毫秒,TTFT为5.53秒。这意味着单台联想问天WA7785aG3服务器可支撑1500人规模企业正常使用,是继联想问天WA7780G3服务器之后,在单机部署该大模型推理性能上的又一重大进步。

合作与持续探索:此次技术突破是联想中国基础设施业务群、联想研究院ICI实验室和AMD联合设计、协同调优的成果。并且,联想与AMD仍在不断探索深度调优新方法,追求更高性能突破。

© 版权声明
Trea - 国内首个原生AI IDE