今日凌晨，阿里云正式发布最新推理模型QwQ-32B，其性能与DeepSeek-R1不相上下，亮点在于可在消费级显卡上完成本地部署。
QwQ-32B参数量为32B，与参数量达671B的DeepSeek-R1相差近20倍。然而，在数学推理、编程能力方面，QwQ-32B的表现不逊色于DeepSeek-R1，且优于o1-mini及相同尺寸的R1蒸馏模型。在通用能力测评中，QwQ-32B得分也超越了DeepSeek-R1。
苹果机器学习科学家Awni Hannun展示，QwQ-32B在配备MLX的M4 Max芯片电脑上运行速度很快。目前，该模型已在HuggingFace和ModelScope上以Apache 2.0许可证开源，企业可将其用于商业和研究用途。
QwQ-32B在一系列基准测试中表现优异。在AIME24评测集和LiveCodeBench测试里，其表现与DeepSeek-R1相当；在LiveBench、IFEval评测集、BFCL测试中，得分超越DeepSeek-R1。而且，QwQ-32B只需GPU上24GBvRAM，运行完整的DeepSeek R1则需超1500GB vRAM。
社交平台上，网友对QwQ-32B赞不绝口，称赞其推理速度“非常快”，还有人认为它是“o1-mini级别本地模型”。不过也有网友指出，该模型因尺寸差异，推理时大约需要5%的高带宽内存。
研究人员在冷启动基础上开展大规模强化学习，提升QwQ-32B在数学和编程任务上的能力。其强化学习分两个阶段，先是针对数学和编码重点训练，后进行通用能力增强。
QwQ-32B遵循因果语言模型架构，并进行了多方面优化，如采用64个Transformer层、分组查询注意力等。凭借强化学习驱动的推理能力，该模型在多个领域具有应用价值。
通义千问团队建议使用特定设置以获得最佳性能，该模型还支持使用vLLM进行部署。基于QwQ-32B，研究人员将强化学习视为下一代AI模型的关键驱动力。
