模型介绍
中文整理Model Card for CodeFuse-CodeLlama-34B
[[中文]](#chinese) [[English]](#english)
Model Description
CodeFuse-CodeLlama-34B is a 34B Code-LLM finetuned by QLoRA of multiple code tasks（600k instrunctions/answers） on the base model CodeLlama-34b-Python.
The context length of finetuning is 4K while it is able to be finetuned by 16k context if necessary.
News and Updates
🔥🔥🔥 CodeFuse-CodeLlama34B-MFT has achived 74.4% of pass@1 on HumanEval, which is SOTA at present.
Code Community
Homepage**: 🏡 https://github.com/codefuse-ai (**Please give us your support with a Star🌟 + Fork🚀 + Watch👀**)
If you wish to fine-tune the model yourself, you can visit ✨MFTCoder✨✨
If you wish to deploy the model yourself, you can visit ✨FasterTransformer4CodeFuse✨✨
If you wish to see a demo of the model, you can visit ✨CodeFuse Demo✨✨
Performance
Model HumanEval(pass@1) Date
:---------------------------- :-----------------: :-------:
- *CodeFuse-CodeLlama-34B** **74.4%** 2023.9
WizardCoder-Python-34B-V1.0 73.2% 2023.8
GPT-4(zero-shot) 67.0% 2023.3
PanGu-Coder2 15B 61.6% 2023.8
CodeLlama-34b-Python 53.7% 2023.8
CodeLlama-34b 48.8% 2023.8
GPT-3.5(zero-shot) 48.1% 2022.11
OctoCoder 46.2% 2023.8
StarCoder-15B 33.6% 2023.5
LLaMA 2 70B(zero-shot) 29.9% 2023.7
Requirements
python>=3.8
pytorch>=2.0.0
transformers==4.32.0
Sentencepiece
CUDA 11.4
Inference String Format
The inference string is a concatenated string formed by combining conversation data(system, human and bot contents) in the training data format. It is used as input during the inference process.
Here is an example format of the concatenated string:
When applying inference, you always make your input string end with "bot" to ask the model generating answers.
Quickstart
MD5
We notice that the file may be corrupted during transfer process. Please check MD5 value before use.
Model File MD5 Value
:--------------------------------- :--------------------------------:
pytorch model-00001-of-00007.bin 8d544b1bcb3449934184d4141137329c
pytorch model-00002-of-00007.bin 9d5dbb30911e48a42fb6d0fcabb322a4
pytorch model-00003-of-00007.bin b0d4aecee0457d9332005a187e1fffed
pytorch model-00004-of-00007.bin 5c7e002de5eab77d0194a2b0f6de0c24
pytorch model-00005-of-00007.bin d22a511aa26b5b17117b665a877490ab
pytorch model-00006-of-00007.bin a5c28ac277fac07d16dd66537e54d109
pytorch model-00007-of-00007.bin a967e2c6195477b7407089c0bffa2d53
模型简介
CodeFuse-CodeLlama34B-MFT 是一个通过QLoRA对基座模型CodeLlama-34b-Python进行多代码任务微调的代码大模型。模型微调采用了4k上下文。如果有必要，可以扩展到16k。
新闻
🔥🔥🔥 CodeFuse-CodeLlama34B-MFT模型在HumanEval pass@1上可以达到74.4%, 为当前开源SOTA。
代码社区
大本营**： 🏡 https://github.com/codefuse-ai （**欢迎为我们的项目一键三连 Star🌟 + Fork🚀 + Watch👀**）
如果您想自己微调该模型，可以访问 ✨MFTCoder✨✨
如果您想自己部署该模型，可以访问 ✨FasterTransformer4CodeFuse✨✨
如果您想观看该模型示例，可以访问 ✨CodeFuse Demo✨✨
评测表现(代码)
模型 HumanEval(pass@1) 日期
:---------------------------- :-----------------: :-------:
- *CodeFuse-CodeLlama-34B** **74.4%** 2023.9
WizardCoder-Python-34B-V1.0 73.2% 2023.8
GPT-4(zero-shot) 67.0% 2023.3
PanGu-Coder2 15B 61.6% 2023.8
CodeLlama-34b-Python 53.7% 2023.8
CodeLlama-34b 48.8% 2023.8
GPT-3.5(zero-shot) 48.1% 2022.11
OctoCoder 46.2% 2023.8
StarCoder-15B 33.6% 2023.5
LLaMA 2 70B(zero-shot) 29.9% 2023.7
Requirements
python>=3.8
pytorch>=2.0.0
transformers==4.32.0
CUDA 11.4
推理数据格式
推理数据为模型在训练数据格式下拼接的字符串形式，它也是推理时输入prompt拼接的方式：
推理时，请确保拼接的prompt字符串以"bot"结尾，引导模型生成回答。
快速使用
MD5
我们发现模型文件可能会在传输过程中损坏，使用前请检查文件MD5值。
模型文件 MD5值
:--------------------------------- :--------------------------------:
pytorch model-00001-of-00007.bin 8d544b1bcb3449934184d4141137329c
pytorch model-00002-of-00007.bin 9d5dbb30911e48a42fb6d0fcabb322a4
pytorch model-00003-of-00007.bin b0d4aecee0457d9332005a187e1fffed
pytorch model-00004-of-00007.bin 5c7e002de5eab77d0194a2b0f6de0c24
pytorch model-00005-of-00007.bin d22a511aa26b5b17117b665a877490ab
pytorch model-00006-of-00007.bin a5c28ac277fac07d16dd66537e54d109
pytorch model-00007-of-00007.bin a967e2c6195477b7407089c0bffa2d53
加入我们
我们是平台技术事业群AI Native团队，负责蚂蚁蚂蚁集团平台工程的智能化，团队成立3年多以来，支持了蚂蚁集团云计算基础设施智能化运维的升级改造。团队的Mission是，通过世界级的技术创新和影响，构建有广泛用户的算法服务和平台，支撑内外部产品和业务落地。团队秉承创新基因，在支撑业务落地的同时，推动技术影响。3年以来在ICLR、NeurIPS、KDD、ACL等顶会发表论文20余篇，创新业务结果获得两次蚂蚁技术最高奖T-Star，1次蚂蚁集团最高奖SuperMA。开源项目CodeFuse获得4K点赞(2024年2月)，Huggingface和modelscope上模型累积下载量超过150万次。
我们正在寻找行业中的佼佼者加入我们的团队！如果您希望在一个充满活力、创新和卓越文化的环境中发展您的职业生涯，欢迎您查看我们的社招&校招机会，加入我们，一起创造下一个行业里程碑。**
校招：https://hrrecommend.antgroup.com/guide.html?code=8uoP5mlus5DqQYbE EnqcE2FD5JZH21MwvMUIb9mb6X3osXPuBraG54SyM8GLn 7
社招：https://talent.antgroup.com/off-campus-position?positionId=1933830
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。