字节Seed Edge项目新成果：Comet优化技术提升大模型训练效率

字节开启AGI前沿探索 1月下旬，字节设立代号“SeedEdge”的研究项目，由豆包大模型团队“Seed”负责，致力于AGI新方法探索。近日，该项目团队带来重大成果。

Comet技术优化MoE架构团队发布针对MoE架构的关键优化技术Comet，能将大模型训练效率提升1.7倍，成本节省40%。相较于DeepSeek的DualPipe等方案，Comet可像插件般接入已有MoE训练框架，支持主流大模型，且无需侵入式改动，还能与DualPipe联合使用。

解决专家放置挑战Comet主要解决MoE模型的专家放置难题。在分布式环境中，通信与计算重叠存在问题，而Comet通过识别数据依赖关系优化计算通信管道结构，以及动态分配GPU线程块平衡工作负载，实现通信与计算的细粒度重叠。

代码构成与应用 Comet由约1.2万行C++、CUDA代码及2000行Python代码组成，提供用户友好的PythonAPI。字节将其集成到Megatron-LM中验证，实验表明Comet加速效果显著，已部署到大规模生产集群。

研发成果频出 2月，SeedEdge团队“三连击”。先是联合发布VideoWorld模型，不依赖语言学习；接着提出UltraMem架构，解决MoE推理访存问题；还推出BFS-Prover定理证明系统，在基准测试中表现出色。

团队建设与发展 Seed Edge与DeepSeek相似，鼓励跨模态合作，提供宽松环境与算力保障。团队成员逐渐年轻化，“TopSeed人才计划”招募顶尖人才，近期团队架构调整，吴永辉博士加入负责基础研究。