Model details
模型介绍
中文整理Qwen3-ASR GGUF (Q4 K) for Mac Local Inference
这是 Qwen3-ASR 的 GGUF 量化模型集合，包含两个版本：
qwen3 asr 0.6b q4 k.gguf
qwen3 asr 1.7b q4 k.gguf
模型来源于 Hugging Face 仓库：
https://huggingface.co/Alkd/qwen3-asr-gguf
文件名 大小 说明
qwen3 asr 0.6b q4 k.gguf 577 MB 速度更快，资源占用更低
qwen3 asr 1.7b q4 k.gguf 1.2 GB 精度上限更高，加载更慢
这两个模型是 qwen3 asr 架构。
截至本次测试， llama.cpp 不能直接加载该架构（报错： unknown model architecture: 'qwen3 asr' ）。
建议使用 qwen3-asr-rs 跑 GGUF。
参考项目：
https://github.com/alan890104/qwen3-asr-rs
测试设备：Apple Silicon + Metal
测试音频：7 秒英文语音
- 6B Q4 K
- load ms: 1824.82
- avg ms: 1306.61
- avg rtf: 0.1867
- 7B Q4 K
- load ms: 7106.62
- avg ms: 4095.37
- avg rtf: 0.5851
说明： rtf < 1 代表快于实时。
追求低延迟、轻量部署： 0.6b q4 k
追求更高识别稳定性： 1.7b q4 k
本仓库仅做模型分发与部署复现说明。
原始模型与相关权利请以上游仓库说明为准：
- https://huggingface.co/Alkd/qwen3-asr-gguf
- https://github.com/alan890104/qwen3-asr-rs
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
Problem with the information or download?
Sign in to submit feedback.
