闲社服务运行正常AI智能体自动化平台
分享到
资讯 /

llama.cpp新增Decision Models:单次前向推理直接输出选项概率

资讯 2026-10-7 09:02 9060人浏览 0人回复
原作者: Xuan-Son Nguyen、Victor Mustar 来自: Hugging Face Blog(ggml-org / llama.cpp) 收藏 邀请
摘要

ggml-org于2026年10月2日介绍llama.cpp的Decision Models支持:/v1/systemone可对文本、JSON或截图状态执行choice、score、noul三类问题,并在一次前向推理中返回选项概率。Julia-1、Laya、Kev-4B、lev、OpenJev和Cl ...

事件概述:llama.cpp 项目团队(ggml-org)于 2026 年 10 月 2 日在 Hugging Face 介绍 Decision Models 支持。新版 llama.cpp 服务器新增/v1/systemone 接口,客户端可提交文本、JSON 或截图状态以及带类型的问题,模型一次前向计算就返回每个选项的概率,而不是逐 Token 生成回答。

能力与对象:Decision Model 把任务限定为给定选项的决策,可用于请求路由、内容审核、检查智能体步骤是否成功或选择下一步动作。接口支持三类问题:choice 从候选项中选择并给出概率,score 在 2 到 10 个等级上返回期望等级,noul 返回是/否概率。状态还可以是对话消息或包含图片的数据 URL,因此部分模型可直接处理文档或截图。

支持模型与示例:官方列出了 Julia-1(144M,50 多种语言)、Laya(421M,英语)、Kev-4B(4B,英语)、lev(4B,英语)、OpenJev(27B,多语言并支持图像)和 Clef(27B,英语并支持图像)。文章给出的单问题中位耗时是在 NVIDIA RTX PRO 6000 上的参考值,约 3 毫秒至 43 毫秒不等;可通过 llama serve 启动 GGUF 模型,并在一个服务器中按需路由多个模型。

实际影响:对于规则明确、输出空间有限的代理编排和分类任务,概率化的固定选项输出能减少文本解析与逐 Token 生成开销,也便于设置置信度阈值,低置信度请求转人工。开发者可用现有 llama.cpp 部署方式快速试验,不必为每种模型重写客户端,只需切换到 System One 兼容接口。

限制:概率并不等于正确性,阈值和候选描述需要用自己的数据校准;文章示例显示,给出候选项描述会影响路由结果。不同模型的语言、图像支持和许可证不同,OpenJev 标注为 CC BY-NC 4.0,不能把所有模型当作可商用。性能数字是单张 NVIDIA RTX PRO 6000 上的中位测量,实际批量、显存和并发效果需自行压测。

官方来源:https://huggingface.co/blog/ggml-org/decision-models-in-llamacpp

7*24新情报
技术文章
推荐课程
返回顶部