近期，Hugging Face正式推出全新开源语言模型SmolLM3。这款拥有3B参数的轻量级大语言模型，凭借卓越性能和高效设计，在行业内引发广泛关注。
参数虽小，性能卓越
SmolLM3作为仅含解码器的Transformer模型，运用Grouped QueryAttention（GQA）和NoPE技术优化，保障了高效推理和长上下文处理能力。该模型在11.2万亿令牌的多样化数据集上预训练，涵盖网页、代码、数学和推理数据，在知识、推理、数学和编码领域表现强劲。在知识和推理基准测试中，其表现不逊于4B参数模型，展现了小模型的惊人潜力。
双模式推理，灵活应对多样任务
SmolLM3引入独特的双模式推理功能，支持“思考”和“非思考”模式。开启思考模式后，在复杂任务中表现大幅提升。这种灵活的推理模式使模型能根据任务需求动态调整，平衡速度与深度推理，满足从快速问答到复杂问题解决的各类场景。
长上下文与多语言的完美融合
在长上下文处理方面，SmolLM3表现出色。训练时支持64K上下文，通过YaRN技术可扩展至128K令牌。同时，该模型原生支持六种语言，在少量阿拉伯语、中文和俄语数据上训练后，多语言能力在同级别模型中名列前茅，为全球应用场景提供可靠支持。
完全开源，赋能开发者生态
Hugging Face秉持开源精神，不仅公开模型权重，还全面开源训练数据组合、训练配置和代码。开发者可通过HuggingFace上的smollm仓库获取详细信息。这种透明的“训练蓝图”降低了学术研究和商业应用的门槛，推动开源AI生态繁荣。
边缘设备的高效之选
SmolLM3专为高效推理设计，通过Grouped QueryAttention机制大幅减少推理时的KV缓存使用，结合WebGPU支持，适合在浏览器或边缘设备运行。相较于大模型，它在性能和计算成本间找到平衡，为教育、编码和客户支持等场景提供经济高效的解决方案。
行业影响与未来展望
SmolLM3的发布标志着小语言模型在性能和效率上的重大突破。其开源属性、长上下文支持和多语言能力，使其成为学术研究、初创企业和中小企业的理想选择。预计它将在教育、客服和本地化部署等领域引发应用热潮，同时其完全开源的训练过程也将激励更多开发者参与AI模型优化和创新。
