NeoHorse-Jev-4B-GGUF

NeoHorse-Jev-4B-GGUF

面向智能体工作流的 Prefill-only 决策 · GGUF 版本

原始模型 ·

GGUF 文件 ·

部署

模型介绍

NeoHorse-Jev-4B-GGUF** 是 **NeoHorse-Jev-4B** 的 GGUF 发布版本。原始模型由基元律动（TokenRhythm）基于 NeoHorse-1-4B 构建，是一个 **4B 级结构化决策模型**。给定状态与调用方定义的问题，模型通过 **prefill-only 推理**预测决策及其概率，可用于请求路由、工具选择、条件判断与等级评分。

决策类型 返回结果 典型用途

• -- --- ---
• *Choice** 选中候选及完整候选概率分布 请求路由、工具选择、候选动作选择
• *Noul** 是／否条件成立的概率 P(true) 条件检查、过滤、工作流门控
• *Score** 有序等级的概率分布与期望分值 质量评估、严重程度、优先级判断

本仓库提供 **BF16、Q8 0、Q4 K M、Q3 K M 和 Q2 K** 五种精度。每个 GGUF 都包含语言主干、视觉权重、决策头和 tokenizer 配置；部署时下载**一个 GGUF 与共用的 runtime/ 目录**即可，无需额外下载 mmproj 或原始模型权重。配套 runtime 支持文本和单张图片与文本联合输入。

完整模型介绍、跨模型评测与使用说明见原始模型页。本页提供 GGUF 的量化结果、文件选择和部署方法。

决策演示

六个决策场景：** 俄罗斯方块、贪吃蛇、机器人操作、麻将、四方炸弹竞技与自动驾驶，按从左到右、从上到下排列。每个画面保留原始回放与决策展示，并独立循环播放。

以上为原始 NeoHorse-Jev-4B 的决策场景演示。

评测

GGUF 量化评测

推荐从 Q4 K M 开始：完整文件为 3.39 GB，比 BF16 缩小约 63%，三项平均准确率为 83.77%。**

版本 完整文件大小（GB） Nimble VitaminC MASSIVE AVG

• -- ---: ---: ---: ---: ---:

BF16 9.11 87.23 77.13 85.71 83.36

Q8 0 5.17 **87.59** 76.79 86.00 83.46

• *Q4 K M** 3.39 87.23 77.80 86.29 **83.77**

Q3 K M 2.95 85.46 **77.96** **87.43** 83.62

Q2 K 2.60 84.04 74.46 84.57 81.02

分数为准确率（%），AVG 为 Nimble、VitaminC、MASSIVE 三项准确率的等权平均，样本数分别为 282、599、350。**加粗**表示该列最佳结果，下划线表示次佳结果。文件大小采用十进制 GB。

原始模型跨模型评测

以下沿用原始模型页 **2026 年 9 月 24 日**的结果。NeoHorse-Jev-4B 在六组文本评测上的综合得分为 **77.70**，在本次结果完整的四个开源权重决策模型中最高；Nimble、VitaminC 和 MASSIVE 三项平均准确率为 **83.26%**，较 NeoHorse-1-4B 提升 **11.50 个百分点**。

原始模型的 JevBench、Kev 和 OpenJev 成绩采用 vLLM；其余三项沿用固定子集评测。

模型 JevBench Kev OpenJev 文本 Nimble VitaminC MASSIVE AVG

• -- ---: ---: ---: ---: ---: ---: ---:

Open-Jev-9B **77.13** 77.87 **65.39** 80.50 68.28 84.86 75.67

Kev-4B 73.71 81.47 54.75 73.40 76.46 **85.71** 74.25

Laya English 55.82 61.30 40.07 45.04 **78.63** 68.57 58.24

Laya Typed Decisions -- -- -- 48.94 78.30 65.43 --

• *NeoHorse-1-4B** -- -- -- 69.15 63.27 82.86 --
• *NeoHorse-Jev-4B** 75.73 **81.92** 58.74 **87.23** 77.13 85.43 **77.70**

加粗**为表内开源权重模型的最佳结果，下划线为次佳结果； -- 表示暂无结果。AVG 对六组得分等权平均，仅比较六组结果齐全的模型，图像与游戏结果不计入其中。完整协议、分项结果、图文理解与交互任务评测见原始模型的评测章节。

模型下载

从 **ModelScope** 下载 Q4 K M 及配套文件：

需要其他精度时，将文件名中的 Q4 K M 替换为上表对应版本。五个 GGUF 是完整的替代版本，不是分片，只需选择其中一个。

部署

GGUF 版本使用仓库内的 NeoHorse GGUF runtime。** 它从同一个 GGUF 中读取全部模型权重，并提供 Jev 的 Python 决策接口。下文提供基于 llama.cpp 的本地 Python 与命令行用法。如需 vLLM、SGLang 或原生 HTTP 部署，请使用原始模型及其部署说明。

使用 llama.cpp 运行

本仓库附带基于 **llama.cpp** 的 NeoHorse 决策适配代码。**下载一个 GGUF 和 runtime/ 目录，执行下面的编译与运行命令即可。** build.py 会获取固定版本的 llama.cpp 并构建配套后端；适配代码从同一个 GGUF 读取语言、视觉与决策头，返回 Choice、Noul 和 Score，无需另外下载基础模型、视觉投影或决策头权重。

运行步骤：按上面的“模型下载”获取文件 → 按下面命令编译 → 使用文本、图片或 Python 示例调用。已测通环境为 Linux/CUDA SM90；请使用随包的构建脚本和 Python／命令行接口完成决策读出。

编译与运行

已验证环境为 **Linux x86-64、NVIDIA SM90 GPU**，以及 Python 3.12、CUDA toolkit 12.4、GCC 11、PyTorch 2.8.0 和 Transformers 5.17.0。需要预先准备 git 、CMake、C++ 编译器和 CUDA toolkit，再针对目标 GPU 从源码编译。

编译时需要联网获取固定版本的 llama.cpp；推理使用本地 GGUF，无需再下载基础模型。

Python 快速决策

同一条用户消息，直接得到是／否概率、候选选择和等级分数。** 编译完成后，在 neohorse-jev-gguf/ 目录运行以下示例。文本请求可以包含多个问题，当前 GGUF runtime 会逐个处理。

Noul 返回 P(true) ；Choice 返回选中候选和完整概率分布；Score 返回等级概率加权后的期望值。上例的三个等级编号为 **0、1、2**，得分可为小数。应用可直接读取这些字段设置路由与优先级。

图片与文本联合决策

随包示例会从给定候选颜色中，选择本地图片的主要颜色：

自定义请求时，将本地 PIL.Image 作为第二个参数传给 model.predict(request, image) 。图片模式每次支持**一张图、一个问题**，完整请求见 runtime/example.py 。

运行限制与实现细节

• *文本输入：** state 最多 384 tokens；每个问题的 packed branch 最多 1,024 tokens；编码后的输入最多 2,048 tokens。
• *图片输入：** 一张不超过 400 万像素的图片；64–1,024 个视觉 tokens；state 最多 2,048 tokens；packed text 最多 8,192 tokens；展开后的上下文最多 12,288 tokens。超限输入会被拒绝。
• *调用方式：** 同一实例一次处理一个调用；结束后关闭模型以释放显存。在文本与图片模式间切换会重新加载原生引擎。
• *量化范围：** 仅量化语言主干。视觉权重保留 BF16 与部分 FP32 张量，决策头保留 FP32。Q4 K M、Q3 K M 和 Q2 K 使用同一训练输入重要性矩阵；BF16 和 Q8 0 不使用该矩阵。未进行视觉微调。
• *编译：** llama.cpp 固定在 94256114c229674ef96e76eb2dea596e65b43818 。配套加载改动让语言加载器跳过视觉与决策头命名空间，再由视觉加载器和 Python 决策接口读取同一个 GGUF 内的对应张量。不会解包出第二份权重文件，只会临时生成少量 tokenizer 配置文件。

许可证与致谢

模型权重按 **Apache-2.0** 发布。NeoHorse-Jev 基于 NeoHorse-1-4B 构建，本仓库将 Jev 模型转换并打包为 GGUF。

感谢 Jared Palmer 开源 Kev，本项目的部分决策推理代码基于 Kev 适配；也感谢 llama.cpp 提供 GGUF 推理基础。随包保留相应许可证与归属声明。文件完整性校验见 SHA256SUMS 。

如有疑问或需报告问题，请使用 NeoHorse 问题反馈。