闲社服务运行正常AI智能体自动化平台
中文
语言 / Language简体中文SelectedEnglish

选择显示语言

drvexo-4b-unified

DRVEXOLLM/drvexo-4b-unified

发布机构DRVEXOLLM

下载访问条件魔搭来源

图文理解 · 语音交流 · 自定义声音 · 候选决策 驭介智能 · Yujie Intelligence Hugging Face 模型 · ModelScope 模型

多模态语音音频
模型详情

模型介绍

中文整理

drvexo-4b-unified

图文理解 · 语音交流 · 自定义声音 · 候选决策**

驭介智能 · Yujie Intelligence

简体中文** English

Hugging Face 模型 · ModelScope 模型

Hugging Face Space · ModelScope 创空间 · 评测结果 · 模型亮点 · 效果展示 · 快速开始 · HTTP API · 许可

drvexo-4b-unified 是驭介智能开发的多模态交互模型,采用 **4B 语言主干**,将视觉理解、听觉输入、文字对话、语音生成和候选决策整合到一个可独立加载的完整模型包中。面向语音通信、智能外呼、语音控制与具身应用,提供本地 Python 与 vLLM-Omni 服务入口。

评测结果

评测口径

能力轴分别对应 IFEval(严格题级,541 题)、MATH-500(500 题)、MMLU-Pro(按学科比例分层抽样的 3,000 题子集,2338/3000,77.93%)、MMMU(900 题 validation)、ChartQA(1,920 题 validation)和 JevBench(231 题公开子集)。知识理解采用长思考设置;77.93% 是子集实测结果,不代表 MMLU-Pro 全量成绩。各轴展示对应任务的实测分数。

吞吐与语音延迟

2026 年 11 月 7 日,NVIDIA DGX Spark / GB10 上的完整模型服务实测:

文本并发 总输出吞吐(token/s) 首段文字中位数

  • --: ---: ---:

1 24.02 58 ms

8 185.17 143 ms

32 601.55 361 ms

128 **1,378.94** 806 ms

首个音频块 **307–324 ms**,生成速度 **2.45–2.58 倍实时**,输出采样率 24 kHz。语音结果为独立流式测试,不代表 128 路并发语音或物理播放延迟。

模型亮点

  • *视觉与语言交互**:支持图片问答、场景描述与可见信息提取,通过已提交的完整对话历史承接追问。
  • *中英文语音交流**:支持音频输入、语音转写、文字回答与语音生成;流式文字和分块音频便于边接收边播放。
  • *参考录音自定义声音**:使用已获授权的参考录音,为新的内容生成对应音色的语音,无需为每位说话人重新训练。
  • *内置候选决策**:根据显式任务、背景和候选项直接评分,为客服跟进、语音控制和交互应用提供选择依据;实际执行由应用负责。
  • *Tool call 与结构化输出**:生成工具调用,根据工具结果继续回答,并通过 JSON Schema 提取业务字段。
  • *完整模型、统一入口**:视觉、听觉、语言、语音生成、声音参考与决策资源统一打包,支持独立加载和服务部署。

在线体验

Hugging Face Space   ModelScope 创空间

提供文字与图片对话、麦克风和摄像头输入、流式朗读、参考声音、候选评分,以及可编辑的系统提示词。演示共享自托管服务,繁忙时按队列处理。仅提交非敏感内容和已获授权的录音。

通话信令、拨号、电话线路、音频播放和实际工具或设备执行由应用层提供。

效果展示

图片理解 · 宇航员照片

用户:** 请具体描述这张照片中人物的服装、装备、姿态,以及背景中可见的物体。只依据画面,不要猜测人物姓名、拍摄日期或正在执行的任务。

模型实际回答节选:**

人物穿着一件橙红色的宇航服,材质看似为光滑的合成纤维。

前景右下角放置一个黑色头盔,表面光滑反光,顶部有白色条纹,侧面可见银色固定装置。

人物正对镜头,头部略微前倾,面带微笑,表情自然。

左侧为一面美国国旗,星条旗清晰可见,悬挂于背景中。

右侧背景中有一枚航天器模型,主体为白色,带有棕色助推器,外形类似航天飞机。

图片来源:NASA,公有领域,由 scikit-image 分发。

Tool call · 订单与双仓库存查询

用户:** 查询演示订单 EX-20261107-01 的状态,同时比较杭州仓和上海仓 EXO-17 的可用库存。只做查询,不修改订单、不调货。

模型生成 **3 次工具调用**:查询订单状态,以及杭州、上海两仓库存。应用返回演示数据后,模型回答订单已出库、杭州仓可用库存 **18**、上海仓 **7**。使用本地合成业务数据,未连接真实订单系统或修改订单。

打开交互式回放 · 支持暂停、重播与逐步查看,播放节奏不代表推理时延。

JSON Schema · 嵌套订单字段提取

用户:** 客户林舟订购 EXO-17 两件、EXO-23 一件,送到杭州,希望明天下午14:00–16:00送达。

按照预先提交的对象与数组 Schema,模型实际输出:

输出通过本例 Schema 校验;时间字段保留时段,未解析“明天”的日期。

Decision · 时间、偏好与授权边界

背景:** 客户今天 18:00 后才方便接听电话,现在希望先收到邮件摘要;未授权下单或修改地址。

在四个候选方案中,模型选择 **“现在发送邮件摘要,18:00 后再按约电话跟进,不修改订单”**,候选概率 **99.42%**。其余候选分别为立即催促接听、擅自下单、擅自改地址。响应 executable: false ,没有实际发送邮件、拨打电话或操作设备。

打开交互式回放 · 候选概率不代表执行成功率。

默认声音 · 简短问候

你好,很高兴和你聊天。

播放 / 下载

默认声音 · 西湖介绍

杭州西湖是中国著名的淡水湖泊,也是世界文化遗产和国家级风景名胜区。它以其“湖光山色”的绝美景色闻名,拥有苏堤春晓、断桥残雪等十处经典景观。每年吸引数百万游客前来欣赏其四季不同的自然风光与深厚的历史文化底蕴。

播放 / 下载

以上音频为历史参考基线的实际默认音色样例;当前服务的自定义声音可在 Space 中上传授权录音体验。

快速开始

下载模型

从 Hugging Face 或 ModelScope 下载完整模型包,任选一种方式:

本地运行

准备 Linux / CUDA 环境与完整模型目录,先安装匹配 CUDA 的 PyTorch、torchaudio,再安装包内依赖:

参考录音建议使用已获授权的 1–30 秒单声道语音。命令行聊天默认最多生成 128 个新 token;长回答可用 Python 显式设置预算:

启动 vLLM-Omni 服务

使用 **vLLM 0.33 与包含 DRVEXO 适配的源码**。先按目标平台准备匹配的 CUDA、PyTorch、vLLM 与源码依赖,再安装下列固定修订:

适配入口见 PR #9645,请使用上述固定源码;不要默认标准发行版已经包含此适配。面向外网提供服务时,请配置认证与访问控制。

HTTP API

OpenAI 兼容的文字 SSE 示例:

文字与默认声音的分句语音一起流式返回:

接口 用途

  • -- ---

POST /v1/chat/completions 文本、多轮、图片、语音输入;JSON Schema、工具调用

POST /v1/audio/speech 参考声音合成: input 、 task type:"Base" 、 ref audio 、 x vector only mode:true 、 response format:"wav"

POST /v1/drvexo/speech 默认声音朗读: text 、 language ;返回 WAV

POST /v1/drvexo/speech/stream 指定文本分块语音

POST /v1/drvexo/chat/stream 模型回答的文字增量与默认音色分句语音

POST /v1/drvexo/decision 显式 instruction 、 state 、 candidates 与 task 的候选评分

图片使用 image url 内容块,语音使用 input audio ;当前每次最多一图或一段音频,不支持视频。多轮历史通过 messages 传入。启用服务 API key 后,增加 Authorization: Bearer 。

标准聊天流为 SSE;DRVEXO 语音流为 NDJSON,逐行处理 text / audio / done / error 事件。 audio data 是独立 WAV 的 base64; text done 只表示文字结束,应继续等待音频与最终 done 。客户端负责音频播放、麦克风/VAD、工具执行和设备控制;决策评分不直接执行动作。

许可

开源 License:Apache-2.0。

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

返回顶部