近期,DeepSeek V3模型凭借仅557.6万的训练成本,实现与OpenAIO1推理模型相近性能,在全球科技领域引发强烈反响。这一成果不仅冲击了英伟达的市场地位,更在技术创新、开源生态等方面带来诸多变革。

从技术创新角度看,DeepSeek V3采用GRPO(分组相对策略优化)方法,在基础模型能力提升上成效显著。陈羽北教授指出,基础模型DeepSeekV3本身的能力是关键,其混合专家网络(MoE)对负载均衡的优化,以及在Attention Layer上节省键值缓存(KVCache),大大提高了架构效率。同时,“让大模型训练小模型”的方法也产生重大影响,通过自启发式回答问题提升大模型能力,并将其传授给小模型,为模型训练提供新思路。此外,DeepSeekV3的多头潜在注意力机制(Multihead Latent Attention)虽有类似研究,但也展现出独特优势。
在对英伟达的影响方面,呈现出复杂态势。JohnYue认为这是一把双刃剑,利好之处在于DeepSeek激发了AI行业活力,吸引更多初创企业探索应用,增加了芯片需求。然而,其也对英伟达的溢价造成冲击,MOE的优化削弱了英伟达互联技术的重要性,且DeepSeek团队证明可“绕开”CUDA,直接调用PTX进行优化,虽未完全冲垮英伟达的壁垒,但提供了新的可能性。不过,从长期看,英伟达凭借其CUDA通用调用系统和强大的软件支持,仍在芯片市场占据优势。

开源生态方面,DeepSeek的开源举措意义重大。JohnYue表示,这增强了开发者信心,降低了AI应用准入门槛,让更多人敢于投入应用开发。随着更多人使用,模型能获得更多反馈,有助于进一步优化。陈羽北也强调开源生态对整个社区的重要性,像DeepSeek、LlaMA等开源模型为开发者提供了构建应用的基础,推动了AI应用的发展。
在API价格与小模型应用领域,DeepSeek通过一系列优化,大幅降低了API成本,如从PTX调用、GPU到MOE架构等方面的优化,降低了对芯片的要求。这使得芯片降级成为可能,未来虚拟化GPU可能更多用于降低成本。此外,小模型在过去几个月发展迅速,陈羽北认为小模型在很多领域有基本应用,未来将形成端-边-云的分层智能体系,可极大节省推理成本。

最后,对于DeepSeek公司,陈羽北好奇其数据构成与处理细节,认为这些关键内容若能公开,将有助于他人复现研究。JohnYue则关注其持续创新能力,若能不断突破,将改变芯片和基础设施领域格局。