Model details
模型介绍
中文整理# Phi-4-Mini-Reasoning ONNX 模型
## 模型用途Phi-4-Mini-Reasoning ONNX 模型是 Phi-4 mini reasoning 模型的优化版本，旨在通过 ONNX Runtime 加速推理过程。
## 主要能力
- 支持 128K token 上下文长度
- 基于合成数据和经过筛选的公开网站数据构建，专注于高质量推理密集型数据
- 经过监督微调和直接偏好优化，支持精确指令遵循和健壮的安全措施
- 属于 Phi-4 模型系列
## 优化配置
- **int4 CPU 模型**：适用于 CPU 和移动设备，使用 RTN 量化技术
- **int4 GPU 模型**：适用于 GPU，使用 RTN 量化技术
运行要求
- 需要 ONNX Runtime
- 支持 CPU 和 GPU 运行
- 兼容平台：服务器、Windows、Linux、Mac 桌面及移动 CPU
## 性能对比
| 硬件 | ONNX int4 | PyTorch fp32 | 加速比 |
|------|-----------|--------------|--------|
| RTX 4090 GPU | 260.045 tokens/sec | 19.320 tokens/sec | 约 5 倍(fp16) |
| Intel Xeon Platinum 8272CL CPU | 16.89 tokens/sec | 1.636 tokens/sec | 约 10 倍 |
| Intel Xeon Platinum 8573B CPU | 23.978 tokens/sec | 4.479 tokens/sec | 约 5.35 倍 |
| AMD EPYC 7763v CPU | 19.884 tokens/sec | 1.599 tokens/sec | 约 12.4 倍 |
| Intel Core Ultra 7 165H 笔记本 CPU | 4.863 tokens/sec | 1.699 tokens/sec | 约 2.8 倍 |
| Intel i7 处理器 | 3.474 tokens/sec | 1.800 tokens/sec | 约 4.85 倍 |
限制
- 模型仅为基础模型的优化版本
- 优化后输出可能与基础模型存在轻微差异
- 用户需自行验证和测试以适配具体应用场景
License
MIT 许可证
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
Problem with the information or download?
Sign in to submit feedback.
