模型介绍
中文整理由B站UP主:老付聊AI上传,主要用于粉丝使用老付开发的VCP或comfyui的插件通过API调用。
MiniCPM-o 4.5
一款达到 Gemini 2.5 Flash 级别的多模态大语言模型(MLLM),可实现视觉、语音和全双工多模态实时流式交互
MiniCPM-o 4.5 介绍
MiniCPM-o 4.5** 是 MiniCPM-o 系列中最新且功能最强大的模型。该模型基于 SigLip2、Whisper-medium、CosyVoice2 和 Qwen3-8B 构建,采用端到端架构,总参数量为 9B。它在性能上实现了显著提升,并引入了全双工多模态实时流式交互的新功能。MiniCPM-o 4.5 的主要特性包括:
🔥 **领先的视觉能力**
MiniCPM-o 4.5 在 OpenCompass 综合评估中(涵盖 8 个主流基准测试)平均得分为 77.6。**仅凭 9B 参数量,它在视觉 - 语言能力上超越了 GPT-4o、Gemini 2.0 Pro 等广泛使用的专有模型,并接近 Gemini 2.5 Flash 的水平**。该模型在单一模型中支持指令(instruct)和思考(thinking)两种模式,更好地覆盖不同用户场景下的效率与性能权衡。
🎙 **强大的语音能力**
MiniCPM-o 4.5 支持**中英双语实时语音对话,可配置音色**。它具有**更自然、更有表现力、更稳定的语音对话能力**。该模型还支持一些有趣的功能,如**通过简单参考音频片段实现声音克隆和角色扮演**,其克隆表现超越了 CosyVoice2 等强大的 TTS 工具。
🎬 **全新的全双工和主动式多模态实时流式交互能力**
作为一项新功能,MiniCPM-o 4.5 可以端到端地同时处理实时连续的視頻和音频输入流,并生成并发的文本和语音输出流,且互不阻塞。这使得 MiniCPM-o 4.5 能够**同时看、听、说**,创造流畅的实时全模态对话体验。除了被动响应外,该模型还能进行**主动交互**,例如基于对实时场景的持续理解发起提醒或评论。
💪 **强大的 OCR 能力、效率及其他特性**
继承 MiniCPM-V 系列的主流视觉能力,MiniCPM-o 4.5 可以高效处理**高分辨率图像**(高达 180 万像素)和**高帧率视频**(高达 10fps),支持任意宽高比。它在 OmniDocBench 上实现了**端到端英文文档解析的最先进性能**,优于 Gemini-3 Flash 和 GPT-5 等专有模型,以及 DeepSeek-OCR 2 等专用工具。它还具有**可信赖的行为**,在 MMHal-Bench 上与 Gemini 2.5 Flash 相当,并支持**30 多种语言的多语言能力**。
💫 **易于使用**
MiniCPM-o 4.5 可以通过多种方式使用:**基本用法(推荐用于 100% 精度)**:使用 Nvidia GPU 进行 PyTorch 推理。**其他终端适配**包括:(1) llama.cpp 和 Ollama 支持,可在本地设备上进行高效的 CPU 推理;(2) 16 种尺寸的 int4 和 GGUF 格式量化模型;(3) vLLM 和 SGLang 支持,实现高吞吐量和内存高效的推理;(4) FlagOS 支持统一的多芯片后端插件。**我们还开源了网页演示**,可在本地设备(如 GPU、PC,包括 MacBook)上**实现全双工多模态实时流式交互体验**。
模型架构**
- *端到端全模态架构**:模态编码器/解码器和 LLM 通过隐藏状态以端到端方式密集连接。这使得信息流和控制更加顺畅,也有助于在训练期间充分利用丰富的多模态知识。
- *全双工全模态实时流式机制**:(1) 我们将离线模态编码器/解码器转变为在线全双工版本,用于流式输入/输出。语音 token 解码器以交错方式建模文本和语音 token,支持全双工语音生成(即与新输入同步)。这也有助于更稳定的长语音生成(如>1 分钟)。(2) **我们在时间线上以毫秒级同步所有输入和输出流**,通过时分复用(TDM)机制在 LLM 主干中联合建模,用于全模态流式处理。它在小的周期性时间片内将并行全模态流划分为顺序信息组。
- *主动交互机制**:LLM 持续监控输入的视频和音频流,并以 1Hz 的频率决定是否说话。这种高决策频率与全双工特性对于实现主动交互能力至关重要。
- *可配置的语音建模设计**:我们继承了 MiniCPM-o 2.6 的多模态系统提示词设计,包括传统的文本系统提示词和新的音频系统提示词(用于确定助手声音)。这使得在推理时可以克隆新声音并进行角色扮演语音对话。
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
资料或下载有问题?
登录后可提交反馈。
