模型详情
模型介绍
中文整理# Step-Audio 2 模型卡片
Model use case
Step-Audio 2 是端到端多模态大型语言模型，专为工业级音频理解和语音对话设计，发表于 Step-Audio 2 技术报告。
## 主要能力
- *高级语音和音频理解**：通过理解并推理语义信息、副语言信息和非语音信息，在自动语音识别和音频理解方面表现出色。
- *智能语音对话**：实现自然且智能的交互，在各种对话场景中根据上下文和副语言信息做出恰当回应。
- *工具调用和多模态检索增强生成**：通过工具调用和检索增强生成访问真实世界知识（文本和音频），可在多种场景下生成更少幻觉的回复，同时能够根据检索到的语音切换音色。
- *领先性能**：在各种音频理解和对话基准测试中取得了优于其他开源和商业方案的最先进性能。
## 输入输出
- *输入**：音频信号、文本
- *输出**：文本回复、语音合成
运行要求
- *依赖环境**：
- Python >= 3.10
- PyTorch >= 2.3-cu121
- CUDA Toolkit
基本用法
- *模型下载**：
- Step-Audio 2 mini：stepfun-ai/Step-Audio-2-mini
- Step-Audio 2 mini Base：stepfun-ai/Step-Audio-2-mini-Base
- *使用方式**：
- 使用推理脚本进行本地推理
- 本地网页演示
- 在线演示：StepFun Audio Studio（需 StepFun 开放平台 API 密钥）
- StepFun AI Assistant 移动应用
许可证
Apache 2.0 许可证
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境
运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。