模型详情
模型介绍
中文整理stable-code-3b 模型卡片
模型用途
stable-code-3b 是一个拥有 27 亿参数的纯解码器语言模型，在 1.3 万亿个多样化的文本和代码数据集标记上进行预训练。该模型在 18 种编程语言上进行训练，基于 2023 年 StackOverflow 开发者调查选择。在使用 BigCode 评估框架测试的多种编程语言上，该模型在 MultiPL-E 指标上展现出与同规模模型相比的先进性能。
主要能力
- 填充中间能力（Fill in Middle，FIM）：支持在代码中间部分进行填充
- 长上下文支持：训练序列长度最高达 16,384
- 基于 Transformer 解码器架构的自回归语言模型
输入输出
- 输入：文本提示，包括代码片段或自然语言描述
- 输出：生成的代码或文本内容
运行要求
- 硬件：256 块 NVIDIA A100 40GB GPU（AWS P4d 实例）
- 软件：使用 gpt-neox 框架，采用 2D 并行（数据并行和张量并行）、ZeRO-1 优化、FlashAttention-2、SwiGLU 和旋转位置嵌入
基本用法
该模型可作为应用特定微调的基础模型使用。开发者需在下游应用中评估和微调模型以确保安全性能。
限制
- 作为基础模型，该模型可能表现出不可靠、不安全或其他不良行为，必须在部署前通过评估和微调进行修正
- 预训练数据集可能包含攻击性或不适当内容，即使经过数据清洗过滤，仍可能反映在模型生成的文本中
- 建议用户在生产系统中谨慎使用
许可证
- 许可证类型：Stability AI 社区许可证
- 商业使用：请联系 https://stability.ai/license 了解商业许可相关信息
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境
运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。