模型介绍
中文整理VibeVoice-ASR
Model use case
统一的语音转文本模型，设计用于处理最长60分钟的长音频，生成包含说话人、时间戳和内容的结构化转录文本。
主要能力
60分钟单次处理：接受最长60分钟的连续音频输入（64K token长度），保持全局上下文，确保整个音频期间的说话人追踪和语义连贯性。
自定义热词：支持用户提供特定名称、术语或背景信息作为热词，提升特定领域内容的识别准确率。
丰富转录：同时完成语音识别、说话人分离和时间戳标注，输出包含谁在何时说了什么的结构化结果。
多语言支持：支持超过50种语言，无需显式设置语言参数，原生支持话语内和跨话语的代码切换。
输入输出
输入：最长60分钟的连续音频
输出：结构化转录，包含说话人身份、时间戳和转录内容
运行要求
需要Transformers库v5.3.0或更高版本
音频被分块为60秒片段处理（24kHz采样率下为1440000个样本）
可通过调整tokenizer chunk大小适应不同内存条件（需为跳步长度3200的倍数）
支持torch compile加速推理和训练
基本用法
模型可加载用于推理和训练
支持批量推理，可传入等长的音频列表和提示列表
可作为管道使用，但需自定义解析方法处理原始输出
限制
管道使用模式下需要自行定义解析方法处理原始输出
许可证
MIT许可证
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。