OSUM – 西北工业大学开源的语音理解模型-爱论文

OSUM是什么

OSUM（Open Speech Understanding Model）是西北工业大学计算机学院音频、语音与语言处理研究组推出的开源语音理解模型。OSUM结合Whisper编码器和Qwen2 LLM，支持语音识别（ASR）、语音情感识别（SER）、说话者性别分类（SGC）等多种语音任务。OSUM基于“ASR+X”多任务训练策略，用模态对齐和目标任务的优化，实现高效稳定的训练。OSUM用约5万小时的多样化语音数据进行训练，性能在多项任务中表现优异，在中文ASR和多任务泛化能力上表现出色。

OSUM的主要功能

语音识别：将语音转换为文本，支持多种语言和方言。带时间戳的语音识别：在识别语音内容的同时，输出每个单词或短语的起止时间。语音事件检测：识别语音中的特定事件（如笑声、咳嗽、背景噪音等）。语音情感识别：分析语音中的情感状态（如高兴、悲伤、愤怒等）。说话风格识别：识别说话者的风格（如新闻播报、客服对话、日常口语等）。说话者性别分类：判断说话者的性别（男性或女性）。说话者年龄预测：预测说话者的年龄范围（如儿童、成年人、老年人）。语音转文本聊天：将语音输入转化为自然语言回复，用在对话系统。

OSUM的技术原理

Speech Encoder：用Whisper-Medium模型（769M参数），负责将语音信号编码为特征向量。Adaptor：包含3层卷积和4层Transformer，用在适配语音特征与语言模型的输入。LLM（语言模型）：基于Qwen2-7B-Instruct，用LoRA（Low-Rank Adaptation）微调，适应多任务需求。多任务训练策略：ASR+X训练范式：同时训练语音识别（ASR）任务和一个附加任务（如SER、SGC等）。基于共享特征和优化目标，提升模型的泛化能力和稳定性。自然语言Prompt：基于为LLM提供不同的自然语言提示（Prompt），引导模型执行不同的任务。数据处理与训练：约5万小时的多样化语音数据进行多任务训练，数据集包括开源数据和内部处理数据。训练分为两个阶段：首先对Whisper模型进行多任务微调，然后与LLM结合，进行进一步的监督训练。