4月18日 消息:谷歌最近发布了面向企业、开发人员的全新代码模型 Code Gemma,该模型参数小、性能强,同时对硬件要求较低。Code Gemma 共有基础预训练、指令微调和快速推理三个版本,在基准测试中展现出优异的性能表现。该模型使用超过5000亿 tokens 的代码、数学、文本等数据进行了大规模预训练,能够快速生成 Python、JavaScript、Java、C/C++、C# 等主流编程语言代码。
在模型性能方面,Code Gemma70亿参数的性能超过了同类代码模型如 DeepSeek Coder、StarCoder2等,并且推理效率和准确率更高。Code Gemma 系列模型分别是专门针对代码填充进行训练的 Code Gemma2B,基础预训练模型 Code Gemma7B 以及指令微调版本 Code Gemma7B Instruct。开发团队在多个数学数据集上进行了监督式微调,进一步提升了 Code Gemma 的推理能力。
Code Gemma 在多个知名测试平台中获得了不错的成绩,包括 HumanEval Infilling 平台、HumanEval 和 MBPP 测试平台以及 Babel Code 测试平台。在代码编程、Python 编码和多语言编程等任务上,Code Gemma 展现出了强大的编码能力和优异的性能表现,特别是在 Java、JavaScript 和 Kotlin 等语言上的效果尤为突出。
以上为谷歌发布的 Code Gemma 模型的相关内容,更多详细信息可参考开源地址和技术报告。