aiXcoder-7b-base

aiXcoder-7B Code Large Language Model

🏠 官网｜🛠 VS Code 插件｜🛠 Jetbrains 插件｜🤗 模型下载｜技术交流群｜公众号

欢迎来到aiXcoder-7B代码大型语言模型的官方仓库。该模型旨在理解和生成多种编程语言中的代码，提供在代码完成、理解、生成以及更多关于编程语言的任务中的最先进性能。

目录

• 模型简介
• 快速上手
• 运行环境
• 模型权重
• 推理示例
• License
• Acknowledgments

模型简介

随着代码大模型的能力逐渐被挖掘出来，aiXcoder 也一直在思考怎样才能令代码大模型在实际开发场景中有更大的帮助。为此，我们开源了 aiXcoder 7B Base，该模型在1.2T Unique Tokens上做了大量的训练，并且该模型的预训练任务及上下文信息都为真实代码生成场景做了独特的设计。

aiXcoder 7B Base 在代码补全场景下是所有同等级参数量模型中效果最好的，主流多语言nl2code benchmark 平均上效果也超过codellama 34B 和StarCoder2 15B。

在我们持续推动代码大模型应用的探索过程中，aiXcoder 7B Base 模型的发布标志着一个重要的里程碑。当前版本的 aiXcoder 7B Base 是一个基础模型，专注于提升代码补全和代码生成的效率与准确性，旨在为开发人员在这些场景下提供强有力的支持。值得注意的是，这个版本尚未经过特别的instruct微调，意味着它在特定的高级任务如测试用例生成和代码调试方面可能还未达到最优表现。

然而，我们已经在规划中包含了对aiXcoder模型系列的进一步发展。在不久的将来，我们计划发布新的模型版本，这些版本将经过精心的Instruct微调，专门针对更广泛的编程任务，包括但不限于测试用例生成和代码调试。通过这些经过Instruct微调的模型，我们期待能够为开发者提供更全面、更深入的编程支持，帮助他们在软件开发的每一个阶段都能发挥出最大的效率。

快速上手

运行环境

选择一：构建一个运行环境

主要的环境依赖为：

Python 3.8 or higher

PyTorch 2.1.0 or higher

sentencepiece 0.2.0 or higher

transformers 4.34.1 or higher (if run inference by transformers library)

在支持CUDA环境的宿主机或者容器内，执行以下命令安装环境依赖项：

requirements.txt 列举了所有的依赖项及其版本号。

如果想要加快推理速度，我们强烈建议安装 FlashAttention 库（可选）。在确定您的芯片版本与CUDA版本支持FlashAttention 的条件下，可通过以下步骤进行安装：

Option 2: Docker

为了更好地隔离开发环境，我们建议您可以在 Docker 容器内运行模型推理。如下是启动准备 docker 环境的步骤：

• 安装 Docker：如果您的机器还没有安装Docker，您可以参考官方的安装步骤安装。

• 拉取镜像: 从 Docker Hub 拉取 PyTorch 镜像。

• 启动容器: 拉取docker 镜像后，可以启动容器，并在容器中运行模型。

如果想要加快推理速度，我们强烈建议安装 FlashAttention 库（可选）。在确定您的芯片版本与CUDA版本支持FlashAttention 的条件下，可通过以下步骤进行安装：

• 模型推理: 在容器内，您可以安装推理示例代码进行预测。

模型权重

您能从以下地址下载模型：

aiXcoder Base Download

aiXcoder Instruct Download (Comming soon...)

推理示例

命令行执行

如果需要快速执行，只需要通过以下命令行即可运行推理样本:

将 "path/to/model weights dir"替换为您下载模型权重后的本地地址。

或者通过 huggingface 的 transformers 库进行推理测试：

或者通过魔塔的 modelscope 库进行推理测试：

Python 脚本

如果您想嵌入自己的工具流，或者获得更灵活的使用方式，您能通过以下代码直接调用：

python

from sess megatron import TestInference

infer = TestInference()

res = infer.run infer(

# for FIM style input, code string stands for prefix context

code string="""# 快速排序算法""",

# for FIM style input, later code stands for suffix context

later code="\n",

# file path should be a path from project to file

file path="test.py",

# max num for generated tokens

max new tokens=256,

)

print(res)

"""output:

def quick sort(arr):

if len(arr)