模型介绍
中文整理Model Card for CodeFuse-13B
[[中文]](#chinese) [[English]](#english)
Model Description
CodeFuse-13B is a 13 billion parameter code generation model trained on the GPT-NeoX framework, capable of handling code sequences of up to 4096 characters. This model was pretrained on a dataset consisting of 1000B token code, Chinese, and English data, covering over 40 programming languages. To further enhance the effectiveness and quality of the generated code, the model was fine-tuned on the CodeFuse-Evol-instruction-66k dataset, enabling it to produce more accurate, efficient, and compliant code. Pass@1 achieved 37.1% on the HumanEval evaluation set(BeamSearch strategy, BeamSize=3).
Code Community
Homepage**: 🏡 https://github.com/codefuse-ai (**Please give us your support with a Star🌟 + Fork🚀 + Watch👀**)
If you wish to fine-tune the model yourself, you can visit ✨MFTCoder✨✨
If you wish to deploy the model yourself, you can visit ✨FasterTransformer4CodeFuse✨✨
If you wish to see a demo of the model, you can visit ✨CodeFuse Demo✨✨
Requirements
Python 3.8 or above.
PyTorch 1.12 or above, with a recommendation for 2.0 or above.
Transformers 4.24.0 or above.
It is advisable to use CUDA 11.4 or above (for GPU users and flash-attention users, this option should be considered).
Quickstart
MD5
We notice that the file may be corrupted during transfer process. Please check MD5 value before use.
Model File MD5 Value
:--------------------------------- :--------------------------------:
pytorch model-00001-of-00006.bin b79e4ccc93c40fa6113aaf6a434473d5
pytorch model-00002-of-00006.bin 5a82f19e3f62c693e41fe627084c722b
pytorch model-00003-of-00006.bin d4b53c391a353d0fc0a1be1c913d5f04
pytorch model-00004-of-00006.bin f9e3dcdea13ff02f4e3aad4f9db7a33f
pytorch model-00005-of-00006.bin 698a8f2f05723a572193733bce12eb93
pytorch model-00006-of-00006.bin 312439d0b810f1bb81034fe094ff84c7
简介
CodeFuse-13B是基于GPT-NeoX框架训练的13B参数代码生成模型，能够处理4096个字符的代码序列。该模型在1000B Token的代码、中文、英文数据数据集上进行预训练，覆盖超过40种编程语言。为了进一步提升生成代码的效果和质量，该模型还在CodeFuse-Evol-instruction-66k数据集上进行了微调，使得该模型能够生成更加准确、高效、符合要求的代码。在HumanEval评测集上Pass@1达到37.1%(采用BeamSearch解码，其中BeamSize=3)。
代码社区
大本营**： 🏡 https://github.com/codefuse-ai （**请支持我们的项目 Star🌟 + Fork🚀 + Watch👀**）
如果您想自己微调该模型，可以访问 ✨MFTCoder✨✨
如果您想自己部署该模型，可以访问 ✨FasterTransformer4CodeFuse✨✨
如果您想观看该模型示例，可以访问 ✨CodeFuse Demo✨✨
要求
python 3.8及以上版本
pytorch 1.12及以上版本，推荐2.0及以上版本
transformers 4.24.0及以上版本
建议使用CUDA 11.4及以上（GPU用户、flash-attention用户等需考虑此选
快速使用
MD5
我们发现模型文件可能会在传输过程中损坏，使用前请检查文件MD5值。
模型文件 MD5值
:--------------------------------- :--------------------------------:
pytorch model-00001-of-00006.bin b79e4ccc93c40fa6113aaf6a434473d5
pytorch model-00002-of-00006.bin 5a82f19e3f62c693e41fe627084c722b
pytorch model-00003-of-00006.bin d4b53c391a353d0fc0a1be1c913d5f04
pytorch model-00004-of-00006.bin f9e3dcdea13ff02f4e3aad4f9db7a33f
pytorch model-00005-of-00006.bin 698a8f2f05723a572193733bce12eb93
pytorch model-00006-of-00006.bin 312439d0b810f1bb81034fe094ff84c7
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。