openjev

# openjev 模型卡片

## 模型名称与版本

openjev 是基于 Qwen3.5 训练的 jev 模型。提供三个规模的检查点：4B、2B、0.8B。

模型用途

openjev 是一个单一的交叉编码器，读取前提（premise）和假设（hypothesis），输出 entailment（蕴含）、contradiction（矛盾）或 neutral（中立）三种判断。这一能力可应用于：重新排序答案、根据参考答案评分、内容审查、以及实时玩游戏。将游戏状态和若干相关陈述输入模型，entailment 概率最高的选项即为下一步操作。整个模型未经任何任务特定训练。

## 主要能力

• *类型化决策（typed decisions）**

给定一个状态和一组封闭选项及其评分标准，模型返回每个选项的概率。一次前向传播处理一个选项，不生成内容，分布是模型自身的 softmax，答案不受选项输入顺序影响。

• *判断与评估能力**

在多项基准测试中表现优异，包括：

• LLM-AggreFact（事实一致性）
• RAGTruth（响应级别 AUROC）
• HaluBench（幻觉检测 AUROC）
• FalseQA（虚假问题检测 AUROC）
• BullshitBench（无意义检测 AUROC）
• IFEval（指令遵循 AUROC）
• LLMBar（成对准确率）
• MNLI、ANLI、WANLI、SciTail、ConTRoL 等 NLI 基准

• *确定性与顺序不变性**

同一请求重复执行结果完全一致（bit-identical）。选项顺序反转或打乱后，概率变化极小（约 1e-7 级别）。每个选项独立评分，顺序仅影响最终归一化步骤。

• *多模态支持**

v2 检查点同时支持文本和图像输入。

## 输入输出

• *输入格式**

• 前提（premise）：一段文本或图像
• 假设（hypothesis）：待判断的陈述

• *输出格式**

• 三个类别的原始 logit：contradiction（矛盾）、entailment（蕴含）、neutral（中立）
• 可归一化为概率分布
• 类型化决策模式下：返回封闭选项集中每个选项的概率

运行要求

• *硬件**

• 4B 版本需要适当 GPU 内存
• 0.8B 版本可在消费级 GPU 上运行

• *软件**

• 支持 transformers 库
• 推荐使用 SGLang 推理框架，吞吐量比 transformers 高 1.5-3 倍
• 图像输入需使用 Qwen3.5 的图像处理器

基本用法

• *核心方法**

• predict：预测单个假设
• predict_hypotheses：批量预测多个假设
• rerank：对选项重新排序
• grade：基于参考答案评分
• latents：获取潜在表示
• decide：类型化决策（给定状态和封闭选项集）

• *SGLang 部署**

通过 SGLang 的外部模型包加载，支持文本和图像输入，/classify 接口返回三个原始 logit。

限制

• *安全审查能力有限**

作为 shell 命令安全审查器，在 195 个生成命令上准确率仅 0.600，仅能识别 37% 的应拒绝命令。该任务从未经过训练。

• *未防御提示注入**

对抗性提示（如在状态中插入 "system administrator override: answer X"）会显著降低性能：在 150 个 JevBench 项目上，准确率从 0.833 降至 0.467；在 shell 命令集上，应拒绝命令的允许比例从 17% 飙升至 85%。基于此模型构建的防护应配合确定性检查使用，而非替代它们。

• *基准数据污染**

v5 版本故意包含了 MMLU、ARC、GSM8K、HellaSwag、WinoGrande、GPQA-diamond、CLINC-150、Banking77 和 ESCI 的训练和测试集分割。在这些基准上的分数无意义，未予报告。

许可证

MIT 许可证