Model details
模型介绍
中文整理ToriiGate-0.5
Disclaimer / 声明
本仓库/文件为对原始模型 **ToriiGate-0.5** 的第三方量化版本,仅用于学习与研究目的。原始模型由 **Minthy** 发布于 Hugging Face: https://huggingface.co/Minthy/ToriiGate-0.5 。该模型为基于 **Qwen/Qwen3.5-4B-Base** 的微调版本;我的工作仅限于使用 **llama.cpp** 对其进行量化,并未对模型训练或能力本身做任何改动。
- *未获得授权**:本人未获得原作者/发布者的明确授权或背书;本量化版本不代表原作者立场,亦不构成官方发布。
- *业余量化与潜在风险**:本人为业余用户,量化过程中仅做了较为简单的操作;我忽略了部分工具/转换过程中的警告信息,且不完全了解其中可能隐含的精度损失、兼容性问题或其他不可预期风险。使用者需自行评估并承担相关后果。
- *原始链接与作者**:原模型页面与说明请以 Hugging Face 上 **Minthy/ToriiGate-0.5** 为准:https://huggingface.co/Minthy/ToriiGate-0.5(作者:**Minthy**)。
Availability / 可用性
已在 LM Studio 测试可用
Usage / 使用方法
模型文件完整性
ToriiGate-4.8B-0.5-F32-Q8 0.gguf : 本体文件
mmproj-ToriiGate-0.5-BF16.gguf : 视觉
至少需要包含一个 本体 和一个 视觉 文件
本体 和 视觉 后续可能会有多种量化
默认推荐参数
作者的默认
temperature = 0.5 (来自原作者仓库脚本)
我推荐的,玄学感觉更猛
temperature = 0.5
Top K 采样 = 500
重复惩罚 = 1.1
Top P 采样 = 1.0
最小 P 采样 = 0.08
Prompts
系统提示词(long thoughts v2)
其他用法参考原仓库
LM Studio
- *导入模型目录**:将本仓库(或量化后生成的 *.gguf 文件所在目录)添加到 LM Studio 的本地模型路径中,或直接将整个文件夹放入 LM Studio 的模型目录。
- *选择后端**:在 LM Studio 中选择使用 llama.cpp / 本地 GGUF 推理后端。
- *加载模型**:在模型列表中选择本模型并加载,按需调整上下文长度、GPU offload 等参数。由于为业余量化,建议在遇到异常输出时适当降低上下文长度、生成步数等超参数。
llama.cpp(命令行示例)
假设量化后文件名为 ToriiGate-0.5.Qx K M.gguf ,位于当前目录下,可参考:
- *参数仅为示例**:不同显卡/环境下需要根据显存与性能调整 -n (生成长度)、 --ctx-size (上下文长度)、 -ngl (GPU 层数)等参数。
- *图像输入支持**:请确认所使用的 llama.cpp 版本已启用多模态/vision 支持,并按其文档提供正确的图像参数(例如 --image 或对应选项)。
- *异常情况处理**:如出现崩溃、输出异常或性能过低,优先尝试降低上下文长度、batch size 或更换更轻量的量化等级。
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境运行模型需要的设备、工具与依赖,以原作者说明为准。
授权范围是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
Problem with the information or download?
Sign in to submit feedback.