闲社服务运行正常AI智能体自动化平台
中文
语言 / Language简体中文SelectedEnglish

选择显示语言

AL-0-SFT

zxcAsD01/AL-0-SFT

发布机构zxcAsD01

下载访问条件魔搭来源

AL-0 (Distilled on Qwen3) 📌 模型介绍 (Model Introduction) AL-0 是一个由 zxcAsD01 创建的学习性质的小型语言模型。该模型是基于 Qwen3-0.6B 架构进行蒸馏(Distillation)并结合常规训练集进行微调(Fine-tuning)得到的。

文字对话
模型详情

模型介绍

中文整理

AL-0 (Distilled on Qwen3)

[](LICENSE)

📌 模型介绍 (Model Introduction)

AL-0** 是一个由 **zxcAsD01** 创建的学习性质的小型语言模型。该模型是基于 **Qwen3-0.6B** 架构进行蒸馏(Distillation)并结合常规训练集进行微调(Fine-tuning)得到的。

尽管体积小巧,AL-0 旨在通过蒸馏(Distillation)技术,在保持高效推理的同时,尽可能继承大模型的逻辑推理与对话能力。

AL-0** 的前置模型为同为 **zxcAsD01** 创建的 **AL-0-Base** , **AL-0-Base** 是一个纯基座模型,经过极少的训练即可从接近随机输出收敛到输出连贯文本。 **AL-0-SFT** 即为其 **Base** 模型经少量额外预训练以及较多的指令微调得到的。

模型架构参数 (Architecture)

  • *AL-0** 的关键参数如下:
  • *Base Model:** Qwen3
  • *Hidden Size:** 768
  • *Num Hidden Layers:** 12
  • *Num Attention Heads:** 12
  • *Vocabulary Size:** 151,936
  • *Context Length:** 40,96 tokens

🛠️ 使用说明 (Usage)

  • 环境依赖

请确保安装了最新的 transformers 库:

  • 加载模型与推理

您可以使用以下 Python 代码加载并使用 AL-0 模型:

  • 推理参数建议

根据 Qwen3 的特性,建议如下参数:

  • *非思考模式 (Non-Thinking Mode):** temperature=0.7 , top p=0.8 , top k=20 。
  • *思考模式 (Thinking Mode):** 如果模型支持,可使用 temperature=0.6 , top p=0.95 , top k=20 。

🌐 模型来源 (Model Source)

AL-0 模型是基于 **Qwen3** 系列模型进行蒸馏和微调得到的。

硬件**

Intel Core Ultra9-285H 32G

RTX5070laptop 8G

  • *基础模型 (Base Model):** Qwen3-0.6B
  • *来源团队:** Qwen Team (阿里云)
  • *原始模型特点:** Qwen3 是阿里团队的开源大语言模型系列,支持思考模式与非思考模式,预训练数据覆盖 119 种语言,总计约 36 万亿 Token。

本模型的开发得益于 Qwen3 强大的基础能力以及“强到弱蒸馏”技术,使得小型模型也能具备出色的性能。

📄 许可证 (License)

本模型基于 **Apache 2.0 许可证** 开源发布。

Qwen3 系列模型本身也遵循 Apache 2.0 许可证。Apache 2.0 是一个商业友好的开源许可证,允许用户自由使用、修改和分发模型,包括用于商业目的和盈利,前提是保留版权声明和免责声明。

详细条款请参见 LICENSE 文件。

🙏 致谢 (Acknowledgements)

感谢 **Qwen Team** 开源了强大的 Qwen3 模型系列。

感谢开源社区提供的训练数据集与工具支持。

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

返回顶部