模型介绍
中文整理模型名称
Step-Audio 2
Model use case
Step-Audio 2 是端到端多模态大语言模型，专为工业级音频理解和语音对话而设计。
主要能力
高级语音和音频理解：通过理解并推理语义信息、副语言信息和非语音信息，在自动语音识别和音频理解方面表现出色。
智能语音对话：实现自然且智能的交互，根据不同对话场景和副语言信息提供上下文适当的回应。
工具调用和多模态检索增强生成：利用工具调用和检索增强生成技术访问真实世界知识（文本和音频），可在多种场景下生成更少幻觉的回复，并能根据检索到的语音切换音色。
输入
音频输入（语音、声音、音乐）、文本输入、工具调用请求
输出
文本回复、语音回复、工具调用结果
运行要求
Python 3.10 或更高版本
PyTorch 2.3 或更高版本（支持 CUDA 12.1）
CUDA 工具包
基本用法
模型可通过 Hugging Face 下载：Step-Audio 2 mini（stepfun-ai/Step-Audio-2-mini）和 Step-Audio 2 mini Base（stepfun-ai/Step-Audio-2-mini-Base）。
许可证
Apache 2.0
性能概述
在多项基准测试中达到领先水平：
自动语音识别：在英语、汉语、粤语、日语、阿拉伯语等语言的测试集上，字错误率（WER）或字符错误率（CER）表现优异。
副语言信息理解：在 StepEval-Audio-Paralinguistic 基准上，平均得分 83.09（满分 100），涵盖性别、年龄、音色、场景、事件、情绪、语调、节奏、速度、风格和声音等维度。
音频理解与推理：在 MMAU 基准上，平均得分 78.0，涵盖声音、语音、音乐类别。
语音翻译：在 CoVoST 2 和 CVSS 基准的英中和中英翻译任务中表现领先。
工具调用：在 StepEval-Audio-Toolcall 基准上，音频搜索、日期时间、天气、网络搜索等工具调用触发和参数准确率表现优异。
语音对话：在 URO-Bench 基准上，中英文对话的理解、推理和口语能力均达到领先水平。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。