兄弟们,今天聊点硬的。Hugging Face和ServiceNow联合发布的StarCoder2最近更新了15B版本,实测下来有点离谱——在HumanEval+测试集上,15B模型拿下了45.5% pass@1,直接碾压了同级别的CodeLlama-13B(33.5%)和DeepSeek-Coder-6.7B(39.2%)。这数据不是吹的,我自己在微调任务上也试了,Python和Rust的补全流畅度明显高一个档次。
重点来了:StarCoder2-15B是基于619门编程语言、超过5万亿token训练的,融合了The Stack v2数据集,涵盖了大量真实世界的代码片段。相比第一代,它用了“Grouped Query Attention”架构,推理延迟直接降了30%。如果你想本地部署,用4-bit量化后只需要8GB显存,MacBook M2 Pro都能跑。
个人建议:小团队做代码补全或审查,直接上15B版本性价比最高。单卡A100就能跑full precision,比用GPT-4省太多钱。唯一的坑是它对非主流语言(比如Erlang)支持一般,但主流语言覆盖得贼全。
想研究技术细节的,直接去Hugging Face下权重,配套的代码生成工具StarCoder2 CLI也发布了,一键启动。兄弟们,冲就完事。 |