Arctic – Snowflake开源的企业级AI大模型

Arctic：Snowflake旗下的开源企业级大型语言模型

Arctic是由云计算行业的领军企业Snowflake的AI研究团队精心打造的高效开源企业级大型语言模型。这一模型以其480亿参数的巨大规模和出色的性能，专为企业级任务设计，包括SQL生成、编程和指令遵循等。

Arctic的核心优势

1. 规模与效率：Arctic拥有高达480亿的参数规模，但在推理阶段仅激活170亿参数，这一设计大幅提高了其效率。
2. 技术架构：该模型运用了混合专家模型（MoE）技术，由128个专家和密集变换器（Dense Transformer）构成，每个专家参数规模为3.66亿。
3. 上下文窗口：训练时使用4K注意力上下文窗口，并计划扩展到32K以处理更长序列。
4. 成本效益：Arctic的训练成本控制在200万美元以下，提供强大的性价比。
5. 开放许可：Apache 2.0许可允许社区自由使用、修改和分发Arctic模型和数据集。
6. 企业定制：专为企业任务设计，擅长执行SQL生成、编程和指令遵循等。

Arctic的创新架构

• 混合架构：结合了Dense Transformer与MoE模型的优势。
• 参数细分：MoE部分由128个专家组成，每个专家拥有3.66亿参数，MoE总参数量约为4700亿。
• 活跃参数：通过top-2门控机制，选择两个最合适的专家，确保推理时约有170亿参数活跃。
• 训练与推理效率：通过通信与计算任务的重叠设计，有效隐藏了通信开销，并在小批量交互式推理中展现出卓越的性能。
• 系统优化：与NVIDIA合作，利用TensorRT-LLM和vLLM技术，实现了在单个GPU节点上运行的能力。
• 关注点扩展：Arctic的研发团队正在开发更先进的滑动窗口实现，以支持更广泛的序列生成。

Arctic的性能卓越

Snowflake对Arctic在多个企业指标上的基准测试结果显示，其在企业智能指标上的性能超越了包括DBRX、Llama、Mixtral等模型，在通用知识基准测试中也有不俗的表现。

Arctic的轻松使用

Arctic模型已经可以在Hugging Face和Replicate平台上使用，并计划在未来扩展到Snowflake Cortex、Amazon Web Services (AWS)、Microsoft Azure、NVIDIA API Catalog等多个平台。

相关链接

• 官方模型主页：https://www.snowflake.com/en/data-cloud/arctic/
• Hugging Face模型空间：https://huggingface.co/Snowflake/snowflake-arctic-instruct
• Replicate模型地址：https://replicate.com/snowflake/snowflake-arctic-instruct
• GitHub仓库：https://github.com/Snowflake-Labs/snowflake-arctic

Snowflake的Arctic模型，以其企业级的性能和开放的许可证，正在成为众多开发者和企业用户的优选工具。