模型介绍
中文整理Step-Audio-AQAA：全端到端表达性大型音频语言模型
Model use case
Step-Audio-AQAA是一个全端到端的大型音频语言模型，专门用于音频查询-音频回答任务。它直接处理音频输入并生成自然、准确的语音响应，无需依赖传统的语音识别和语音合成模块，消除了级联错误并简化了系统架构。
主要能力
全端到端音频交互：从原始音频输入直接生成语音输出，无需语音识别和语音合成中间环节。细粒度语音控制：支持对情感语调、语速等语音特征进行句子级别调整。多语言与方言支持：涵盖中文（包括四川话、粤语）、英语、日语等。复杂任务处理：在语音情感控制、角色扮演、逻辑推理等复杂音频交互任务中表现出色。
输入输出
输入：原始音频（语音查询）输出：自然语音响应（音频回答）
模型架构
双码本音频分词器：语言分词器基于Paraformer编码器，以1,024码本、16.7Hz提取音素和语言属性；语义分词器参考CosyVoice 1.0，以4,096码本、25Hz捕捉声学特征；使用时序交织比例2:3确保两种令牌类型的时间一致性。主干大语言模型：参数规模为1,300亿的多模态大语言模型，采用仅解码器架构、Transformer块、RMSNorm层和分组查询注意力，将5,120个音频令牌融入文本词汇表以支持文本-音频交织输出。神经声码器：基于CosyVoice的流匹配模型，采用U-Net和ResNet-1D层，仅根据音频令牌条件生成高保真语音波形。
训练方法
多阶段训练流程：预训练阶段使用文本、音频和图像数据进行多模态预训练；监督微调阶段分为两步，第一步对音频查询-文本回答和音频查询-文本回答-音频回答数据集进行全参数更新，第二步使用高质量数据优化特定能力；直接偏好优化阶段使用音频令牌掩码避免语音生成质量下降；模型合并阶段对监督微调和直接偏好优化模型进行加权组合以提升整体性能。
训练数据
多模态预训练数据：8,000亿文本令牌和音频-文本交织数据。音频查询-文本回答数据集：音频查询与文本回答配对数据。音频查询-文本回答-音频回答数据集：由音频查询-文本回答数据生成的音频回答三元组数据。
许可证
该模型基于Apache 2.0许可证发布。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。