WorldSeek-Omni-2B-Preview

WorldSeek-Omni-2B-Preview

语言: 简体中文 English

[!Note]

本仓库包含 WorldSeek-Omni-2B-Preview 的模型权重、配置文件与推理脚本。

当前版本为 preview 发布，适合研究、评估和开发集成。正式版本的完整评测结果、数据说明与模型卡信息将在后续补充。

WorldSeek-Omni-2B-Preview 是 WorldSeek-Omni-2B 的早期检查点版本，完整训练流程尚未结束；当前能力与评测结果应按 preview 阶段表现理解，不代表最终模型性能。

WorldSeek-Omni-2B-Preview 是一个基于 Qwen3.5-2B 与 Qwen3-ASR-1.7B 构建的 Omni 模型。模型保留 Qwen3.5-2B 的文本与视觉语言能力，并接入 Qwen3-ASR-1.7B 的 AuT 音频编码器，使其能够处理语音输入和语音识别任务。

资源

官网: https://www.worldseek-ai.com/

ModelScope: https://modelscope.cn/models/WorldSeek-AI/WorldSeek-Omni-2B-Preview

Hugging Face: https://huggingface.co/WorldSeek-AI/WorldSeek-Omni-2B-Preview

GitHub: https://github.com/WorldSeek-AI/WorldSeek-Omni-2B-Preview

模型特点

• *Omni 输入能力**：支持文本、图像和音频输入；视频输入可在支持相应多模态消息格式的 serving backend 中按 Qwen3.5 方式接入。
• *Qwen3.5-2B 语言与视觉底座**：文本、图像和 OpenAI-compatible 多模态消息格式延续 Qwen3.5 系列用法。
• *Qwen3-ASR-1.7B 音频塔**：音频编码路径来自 Qwen3-ASR-1.7B，并通过 WorldSeek-Omni 适配到 Qwen3.5-2B 语言模型。
• *中英文语音识别**：当前 preview 版本主要面向中文和英文语音识别，效果仍在持续优化中；后续版本将扩展更多语种能力。
• *双路由推理**： omni 用于基础 Omni 路径， asr 用于启用 ASR LoRA 的语音识别路径。
• *多种推理入口**：提供 vLLM OpenAI-compatible serving，以及独立的 Hugging Face 本地 CLI / FastAPI serving 脚本。

架构特性

WorldSeek-Omni-2B-Preview 将 Qwen3-ASR-1.7B 的 AuT 音频编码器（Qwen3-AuT-300M）与 Qwen3.5-2B 的语言/视觉底座结合。音频输入先由 AuT 编码为语音表示，再通过 WorldSeek-Omni 的适配层接入 Qwen3.5-2B 的语言模型，从而在保留 Qwen3.5 文本与视觉语言能力的同时，支持语音输入和 ASR 解码。

模型概览

特性 值

• -- ---

类型 Omni / 多模态因果语言模型

参数规模 2B

语言与视觉底座 Qwen3.5-2B

音频编码器 Qwen3-AuT-300M

最大序列长度 262144

最大音频输入支持 60s

支持的输入类型 文本、图像、视频、音频

当前 ASR 语言 中文、英文

推理路由 omni 、 asr

支持的推理后端 vLLM (v0.21.0) / Hugging Face Transformers (>=4.57.0)

发布状态 Preview / 早期检查点

许可协议 Apache 2.0

Benchmark 结果

以下图表汇总当前 preview 阶段的 benchmark 结果。ASR 项目按数据集口径展示 CER / WER；文本、图像与视频项目展示 accuracy 类分数，数值越高越好。由于本版本仍是早期检查点，这些结果应理解为阶段性表现，而非最终模型性能。

ASR Benchmark

文本、图像与视频 Benchmark

环境安?

推荐使用独立 Python 环境。vLLM serving 路径请安装 vLLM 0.21.0 或兼容版本，并参考 vLLM 官方安装文档选择与本机 CUDA / PyTorch 匹配的构建。

如果需要运行 vLLM 请求示例脚本，还需安装：

Hugging Face 本地推理需要以下基础依赖：

如果使用 Hugging Face FastAPI 常驻服务，还需要：

Quick start

WorldSeek-Omni-2B-Preview 使用两个模型名区分请求路径：

语音识别请求应显式使用 model="asr" 或 --route asr 。

vLLM Serving

以下命令会在 http://localhost:8000/v1 启动 OpenAI-compatible API：

检查模型列表：

预期包含：

Hugging Face 本地推理

Hugging Face CLI 入口适用于本地验证、调试和 Windows CUDA 场景：

音频转写：

图像理解：

Hugging Face FastAPI Serving

以下命令会在 http://localhost:3004/v1 启动本地 OpenAI-compatible API：

API 示例

Chat Completions API 可通过 HTTP 请求或 OpenAI Python SDK 调用。以下示例默认连接 vLLM 服务：

如果使用 Hugging Face FastAPI 服务，将 OPENAI BASE URL 改为 http://localhost:3004/v1 即可。

文本输入

图像输入

图像理解使用 model="omni" 。图像可以使用 URL，也可以使用 base64 data URL。

音频转写

语音识别请求使用 model=asr ：

音频 Chat

也可以将音频作为 Chat Completions 多模态消息输入。该路径同样需要使用 model="asr" 。

随附脚本

脚本 功能

• -- ---

hf omni inference.py Hugging Face 本地 CLI 推理入口，支持文本、图像理解和音频转写。

hf omni server.py 轻量 Hugging Face FastAPI 服务，提供 OpenAI-compatible /v1/chat/completions 和 /v1/audio/transcriptions 接口。

vllm route request examples.py vLLM OpenAI-compatible 请求示例，用于测试 omni 和 asr 两条路由。

常用脚本示例：

局限性

当前版本为 preview 发布，评测结果会随着训练和评估推进继续更新。

WorldSeek-Omni-2B-Preview 是早期检查点版本，完整 WorldSeek-Omni-2B 训练流程仍在进行中。

当前 ASR 能力主要覆盖中文和英文，更多语种将在后续版本中扩展。

ASR 请求需要使用 asr 路由。

当前 preview 包不包含时间戳预测和流式 ASR 能力。

致谢

WorldSeek-Omni-2B-Preview 基于 Qwen3.5-2B 与 Qwen3-ASR-1.7B 构建。感谢 Qwen 团队和通义实验室发布 Qwen 模型家族。

Quote

如果你在研究或项目中使用本模型，请引用本模型发布，并同时引用相关上游工作：

许可

本模型遵循 Apache 2.0 License。请同时遵循上游模型和数据资源的对应许可与使用条款。