All systems operationalAI Agent Automation Platform
English
Language简体中文EnglishSelected

Choose your language

stable-code-3b

stabilityai/stable-code-3b

PublisherStability AIVerified

Download access requirementsMirror available

stable-code-3b 是一个拥有 27 亿参数的纯解码器语言模型,在 1.3 万亿个多样化的文本和代码数据集标记上进行预训练。该模型在 18 种编程语言上进行训练,基于 2023 年 StackOverflow 开发者调查选择。在使用 BigCode 评估框架测试的多种编程语言上,该模型在 MultiPL-E 指标上展现出与同规模模型相比的先进性能。 填充中间能力(Fill in Middle,FIM):支持在代码中间部分进行填充

Text Chat
Model details

模型介绍

中文整理

stable-code-3b 模型卡片

Model use case

stable-code-3b 是一个拥有 27 亿参数的纯解码器语言模型,在 1.3 万亿个多样化的文本和代码数据集标记上进行预训练。该模型在 18 种编程语言上进行训练,基于 2023 年 StackOverflow 开发者调查选择。在使用 BigCode 评估框架测试的多种编程语言上,该模型在 MultiPL-E 指标上展现出与同规模模型相比的先进性能。

主要能力

  • 填充中间能力(Fill in Middle,FIM):支持在代码中间部分进行填充
  • 长上下文支持:训练序列长度最高达 16,384
  • 基于 Transformer 解码器架构的自回归语言模型

输入输出

  • 输入:文本提示,包括代码片段或自然语言描述
  • 输出:生成的代码或文本内容

运行要求

  • 硬件:256 块 NVIDIA A100 40GB GPU(AWS P4d 实例)
  • 软件:使用 gpt-neox 框架,采用 2D 并行(数据并行和张量并行)、ZeRO-1 优化、FlashAttention-2、SwiGLU 和旋转位置嵌入

基本用法

该模型可作为应用特定微调的基础模型使用。开发者需在下游应用中评估和微调模型以确保安全性能。

限制

  • 作为基础模型,该模型可能表现出不可靠、不安全或其他不良行为,必须在部署前通过评估和微调进行修正
  • 预训练数据集可能包含攻击性或不适当内容,即使经过数据清洗过滤,仍可能反映在模型生成的文本中
  • 建议用户在生产系统中谨慎使用

License

  • 许可证类型:Stability AI 社区许可证
  • 商业使用:请联系 https://stability.ai/license 了解商业许可相关信息

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

Back to top