模型介绍
中文整理StableLM-Base-Alpha-3B-v2 模型卡片
模型用途
StableLM-Base-Alpha-3B-v2 是拥有30亿参数的纯解码器语言模型，基于多样化的英文数据集进行预训练。该模型是 StableLM-Base-Alpha-3B 的后续版本，通过改进数据来源和混合比例解决了之前版本的不足。
主要能力
该模型是基于 Transformer 解码器架构的自回归语言模型，可用于文本生成任务。模型采用 SwiGLU 激活函数、并行注意力机制、旋转位置嵌入等技术。
输入输出
输入：文本提示
输出：生成的文本内容
运行要求
该模型使用 GPT-NeoX 库训练，采用混合精度（FP16）格式，优化器为 AdamW，词表大小为 50,257 个词元。模型支持最长 4096 个词元的上下文长度。
基本用法
该模型适用于作为基础模型进行应用特定的微调，没有严格的商业使用限制。用户可通过加载模型检查点进行文本生成。
限制
预训练数据集可能包含过滤后仍存在的冒犯性或不适当内容，这些内容可能反映在模型生成的文本中。建议用户在生产系统中谨慎使用。不要将该模型用于可能对个人或群体造成伤害或困扰的任何应用。
许可证
模型检查点采用 Creative Commons 许可证（CC BY-SA-4.0）。根据该许可证，用户必须注明 Stability AI 的贡献、提供许可证链接，并说明是否做了修改。用户可以任何合理方式做到这一点，但不得以任何方式暗示 Stability AI 认可您或您的使用。
开发者：Stability AI
联系邮箱：lm@stability.ai
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。