乐天集团发布日本大语言模型Rakuten AI2.0及小语言模型Rakuten AI2.0mini

乐天集团在人工智能领域迈出重要一步，正式推出其首个日本大语言模型与小语言模型，分别命名为Rakuten AI2.0和RakutenAI2.0mini。这一举措旨在大力推动日本人工智能的发展进程。

Rakuten AI2.0采用混合专家架构，是一款8x7B的模型，由八个各有70亿参数的模型组成，每个模型作为一个专家。在处理输入的token时，系统会将其发送给最相关的两个专家，由路由器负责精准选择。并且，这些专家和路由器通过大量高质量日英双语数据进行联合训练，以提升性能。

Rakuten AI2.0mini是全新的、参数量为15亿的稠密模型，专为成本效益高的边缘设备部署设计，适用于特定应用场景。它同样在日英混合数据上训练，以提供便捷解决方案。两款模型均经过指令微调和偏好优化，发布了基础模型和指令模型，助力企业和专业人士开发AI应用。

所有模型均遵循Apache2.0许可协议，用户能在乐天集团的HuggingFace官方库获取。其商业用途广泛，涵盖文本生成、内容摘要、问答、文本理解及对话系统构建等。此外，这些模型还可作为其他模型的基础，方便进一步开发应用。

乐天集团首席AI与数据官蔡婷表示，为团队将数据、工程和科学相结合推出RakutenAI2.0感到自豪。新AI模型提供强大且具成本效益的解决方案，帮助企业智能决策，加速价值实现，开启新可能。通过开放模型，希望加速日本AI发展，鼓励日本企业构建、实验和成长，推动协作共赢社区的形成。