模型介绍
中文整理Stable LM2 1.6B
模型描述
Stable LM 2 1.6B 是一个拥有16亿参数的仅解码器语言模型,在2万亿个多样化的多语言和代码数据集标记上进行了两个epoch的预训练。
主要能力
文本生成:作为自回归语言模型,根据输入文本续写生成后续内容。适用于作为基础模型进行特定应用的微调。
输入输出
输入:文本序列
输出:生成的文本序列
运行要求
硬件:训练使用了512块NVIDIA A100 40GB GPU
精度:bfloat16
软件:支持Flash Attention 2加速
基本用法
该模型作为基础模型提供,用户需要根据具体应用场景进行微调以获得最佳性能。建议使用提供的代码进行文本生成任务。
限制
该模型作为基础模型,可能表现出不可靠、不安全或其他不良行为,必须在部署前通过评估和微调进行修正。预训练数据集可能包含攻击性或不适当的内容,即使经过数据清洗过滤,仍可能反映在模型生成的文本中。在生产系统中使用这些模型时,建议用户谨慎行事。如果模型不适合您的应用,或用于可能导致故意或无意伤害他人的应用,请勿使用。
许可证
Stability AI社区许可证。商业使用需参考Stability AI商业许可证。
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
资料或下载有问题?
登录后可提交反馈。
