模型介绍
中文整理AL-0 (Distilled on Qwen3)
[](LICENSE)
📌 模型介绍 (Model Introduction)
AL-0** 是一个由 **zxcAsD01** 创建的学习性质的小型语言模型。该模型是基于 **Qwen3-0.6B** 架构进行蒸馏(Distillation)并结合常规训练集进行微调(Fine-tuning)得到的。
尽管体积小巧,AL-0 旨在通过蒸馏(Distillation)技术,在保持高效推理的同时,尽可能继承大模型的逻辑推理与对话能力。
AL-0** 的前置模型为同为 **zxcAsD01** 创建的 **AL-0-Base** , **AL-0-Base** 是一个纯基座模型,经过极少的训练即可从接近随机输出收敛到输出连贯文本。 **AL-0-SFT** 即为其 **Base** 模型经少量额外预训练以及较多的指令微调得到的。
模型架构参数 (Architecture)
- *AL-0** 的关键参数如下:
- *Base Model:** Qwen3
- *Hidden Size:** 768
- *Num Hidden Layers:** 12
- *Num Attention Heads:** 12
- *Vocabulary Size:** 151,936
- *Context Length:** 40,96 tokens
🛠️ 使用说明 (Usage)
- 环境依赖
请确保安装了最新的 transformers 库:
- 加载模型与推理
您可以使用以下 Python 代码加载并使用 AL-0 模型:
- 推理参数建议
根据 Qwen3 的特性,建议如下参数:
- *非思考模式 (Non-Thinking Mode):** temperature=0.7 , top p=0.8 , top k=20 。
- *思考模式 (Thinking Mode):** 如果模型支持,可使用 temperature=0.6 , top p=0.95 , top k=20 。
🌐 模型来源 (Model Source)
AL-0 模型是基于 **Qwen3** 系列模型进行蒸馏和微调得到的。
硬件**
Intel Core Ultra9-285H 32G
RTX5070laptop 8G
- *基础模型 (Base Model):** Qwen3-0.6B
- *来源团队:** Qwen Team (阿里云)
- *原始模型特点:** Qwen3 是阿里团队的开源大语言模型系列,支持思考模式与非思考模式,预训练数据覆盖 119 种语言,总计约 36 万亿 Token。
本模型的开发得益于 Qwen3 强大的基础能力以及“强到弱蒸馏”技术,使得小型模型也能具备出色的性能。
📄 许可证 (License)
本模型基于 **Apache 2.0 许可证** 开源发布。
Qwen3 系列模型本身也遵循 Apache 2.0 许可证。Apache 2.0 是一个商业友好的开源许可证,允许用户自由使用、修改和分发模型,包括用于商业目的和盈利,前提是保留版权声明和免责声明。
详细条款请参见 LICENSE 文件。
🙏 致谢 (Acknowledgements)
感谢 **Qwen Team** 开源了强大的 Qwen3 模型系列。
感谢开源社区提供的训练数据集与工具支持。
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
资料或下载有问题?
登录后可提交反馈。
