MegaTTS 3 – 字节与浙江大学合作推出的零样本语音合成系统-爱论文

MegaTTS 3是什么

MegaTTS 3是字节跳动与浙江大学合作推出的零样本文本到语音合成系统，采用轻量级扩散模型，参数量仅0.45B，能高效生成高质量语音。系统将语音分解为内容、音色、韵律等属性分别建模，支持中文、英文及中英混合语音合成，具备超高音质的语音克隆能力，几秒音频样本能模仿目标声音。支持口音强度控制等可控性功能。MegaTTS 3可应用于语音合成、语音编辑、跨语言语音合成等多个场景。

MegaTTS 3的主要功能

零样本合成：无需目标说话人的特定语音数据，通过少量提示即可生成其语音，实现快速语音克隆。多语言支持：支持中文、英文及中英混合语音合成，满足不同语言场景需求。高音质输出：生成的语音自然流畅，音质清晰，与目标说话人高度相似。音色控制：可调整生成语音的音色，更接近目标说话人或添加特定音色效果。韵律调整：支持对语音的韵律进行控制，如语速、语调等，让语音更具表现力。口音强度控制：通过参数调整，可生成带不同口音强度的语音，模拟多种语言风格。快速克隆：仅需几秒目标说话人的音频样本，可快速生成其语音，实现高效语音克隆。

MegaTTS 3的技术原理

轻量级扩散模型：MegaTTS 3 采用轻量级的扩散模型（TTS Diffusion Transformer），参数量仅为 0.45B，在保证高效的同时，能生成高质量的语音。扩散模型通过逐步添加和去除噪声来生成目标语音，核心包括前向过程（加噪）和反向过程（去噪），反向过程用于生成数据样本。语音分解与建模：MegaTTS 3 将语音分解为内容、音色、韵律和相位等不同属性，为每个属性设计了合适的模块进行建模：音色建模：使用全局向量（global vectors）来建模音色，因为音色是随时间缓慢变化的全局属性。韵律建模：利用基于潜在码的语言模型（latent code language model）来拟合韵律的分布，因为韵律在句子中快速变化，语言模型能够捕捉局部和长距离的依赖关系。内容建模：采用基于 VQGAN 的声学模型生成语谱图。相位建模：相位由基于 GAN 的声码器适当构建，不需要语言模型对相位进行建模。数据与训练：MegaTTS 3 在大规模多领域数据集上进行训练，包含 20K 小时的语音数据。使模型在零样本语音合成、语音编辑和跨语言语音合成任务上表现出色。稀疏对齐算法：MegaTTS 3 引入稀疏对齐算法，提供稀疏对齐边界来引导潜在扩散变换器（DiT），在不缩小搜索空间的情况下降低对齐难度，实现高自然度。