模型介绍
中文整理StableLM-Base-Alpha
模型概述
StableLM-Base-Alpha是由Stability AI开发的自回归语言模型，基于NeoX transformer架构，包含3B和7B两种参数规模的版本。该模型在英语数据集上预训练，序列长度为4096个token，旨在突破现有开源语言模型的上下文窗口限制。
模型用途
该模型作为基础模型，可用于特定应用场景的微调，适用于各类个人用户和商业用途。
主要能力
文本生成：基于给定的输入文本，模型能够续写和生成连贯的英文内容。
输入输出
输入：文本序列，最大长度为4096个token
输出：生成的文本序列
运行要求
参数规模：3B或7B
隐藏层大小：3B版本为4096，7B版本为6144
层数：16层
注意力头数：3B版本为32个，7B版本为48个
训练精度：FP16混合精度
优化器：Adam
词表大小：50257
基本用法
模型可通过GPT-NeoX库加载使用。具体调用方式请参考官方GitHub仓库文档。
限制
预训练数据可能包含冒犯性或不当内容，即使经过数据清洗过滤，仍可能在生成的文本中反映出来。建议用户在生产系统中使用时保持谨慎。请勿将模型用于可能对个人或群体造成伤害或困扰的应用场景。
许可证
基础模型检查点采用Creative Commons许可证（CC BY-SA-4.0）。根据许可证要求，使用者必须注明Stability AI的贡献，提供许可证链接，并说明是否对模型进行了修改。可采用任何合理方式进行标注，但不得以任何方式暗示Stability AI认可或支持使用者的使用方式。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。