Mistral公司发布Codestral编程AI模型
开创性开放式编程AI
巴黎时间5月29日,由微软支持的估值60亿美元的AI初创企业Mirstral发布了他们研发的首个用于编码的“开放式”生成式AI模型Codestral。这一模型致力于帮助开发者编写代码、提供高层次的开发支持,同时还能通过特定的API接口与其进行交互。
全面的编程语言支持
Codestral不仅支持广泛,其技术参数和许可证政策非常严格。这款模型能在80多种编程语言的环境中辅助开发人员,不仅包括Python、Java和C等主流语言,还包含Swift和Fortran等较为特殊的编程语言,并在各类基准测试中名列前茅。
性能测试结果显著
Codestral的表现非常出色,在多个编程语言和基准测试中均展现了其优势。相较于其他代码生成模型,如CodeLlama 70B、Deepseek Coder 33B和Llama 3 70B等,Mistral公司声称Codestral在多数编程语言上都已经超越了现有技术。它在Kotlin语言的表现上甚至超过了GPT-4和GPT-3.5。
强大的技术参数
作为强大的220亿参数模型,Codestral采用了先进的32k上下文窗口,为代码生成树立了新的标准长度。在Codestral的Python代码生成效能评估中,它在HumanEval pass@1测试中展现了81.1%的高比例,GitHub的Codestral在CruxEval获取并测试Python输出的预测能力上达到了51.3%。
商业化与实用性的挑战
Mistral公司提供了专门的非生产许可证,允许开发者在研究和测试中使用Codestral,但这限制了其在实际商业产品上的适用性。商业使用的建议和内部员工使用有严格的禁止条款。
开发者社区反馈
从开发者社区中也传来了一些积极的声音。JetBrains研究人员Mikhail Evtikhiev表示,在对Kotlin-HumanEval基准进行测试时,Codestral在性能上超过了GPT-4-Turbo。
反对声浪与安全担忧
尽管Codestral表面上成就突出,但其商业化和应用却面临质疑。争论的核心在于生成式AI是否适合作为编程助手,是否会在软件开发中导致更多错误代码被推送到代码库,以及这些工具的存在可能会放大用户代码库中现有的安全问题。
未来展望
通过Codestral的发布,Mistral希望进一步将其技术融入到LlamaIndex和其他开发环境中。无论如何,尽管有争议,但Codestral的发布会推动自然的编程AI语言模型可能在开发工作中所扮演角色的探讨。