模型详情
模型介绍
中文整理Model use case
Step-Audio 2是一款端到端多模态大型语言模型，专为工业级音频理解和语音对话而设计。
主要能力
高级语音和音频理解：通过理解并推理语义信息、副语言信息和非语音信息，在自动语音识别和音频理解方面表现出色。
智能语音对话：实现自然且智能的交互，能够根据不同对话场景和副语言信息做出上下文适当的回应。
工具调用和多模态RAG：通过工具调用和检索增强生成访问真实世界知识（文本和音频），可在多种场景下生成更少幻觉的回复，并能根据检索到的语音切换音色。
输入输出
输入：音频、语音、文本
输出：文本回复、语音合成
运行要求
Python >= 3.10
PyTorch >= 2.3-cu121
CUDA Toolkit
基本用法
模型下载：Step-Audio 2 mini和Step-Audio 2 mini Base可通过Huggingface获取。
在线演示：StepFun realtime console（需StepFun开放平台API密钥）
移动应用：StepFun AI Assistant（支持网页和音频搜索工具）
许可证
Apache 2.0 License
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境
运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。