交交 – 上海交大推出的口语对话情感大模型-爱论文

交交是什么

交交是上海交通大学听觉认知与计算声学实验室推出的全球首个纯学术界自研的口语对话情感大模型。交交具备多人对话、多语言交流、方言理解、角色扮演、情感互动及知识问答等强大功能，支持汉语、英语、日语、法语等多种语言，能精准识别中文方言。交交基于创新技术，实现端到端语音对话、多语言理解、多人互动及实时音色克隆。交交展现强大的语音交互能力，为智能语音助手领域带来新的突破。

交交的主要功能

多人对话：同时与多位用户进行自然流畅的对话，精准识别每个人的身份和发言内容，给出个性化的回应。多语言交流：支持汉语、英语、日语和法语四大主流语言，具备跨语言回复能力。角色扮演与情感互动：根据对话内容和场景理解用户情绪，生成富有情感的回应。知识问答：涵盖广泛的知识领域，如古诗词背诵、科学原理讲解、文学名著解读等。实时音色克隆：提供高保真声音模仿技术，支持多角色语音扮演风格及与用户自身声音之间的实时无感切换。

交交的技术原理

端到端语音对话：基于鲁棒的音频编码器，将音频输入流式编码器得到离散序列，对齐到文本序列空间，无需大规模高质量数据微调，即可保持和利用文本大模型的基础泛化能力，实现实时知识问答。多语言理解与生成：基于创新的跨模态对齐机制，将多语言语音信号与对应文本在特征空间实现精准映射，用隐式表征学习保留语言特异性信息，结合深度语言模型的上下文建模能力，实现跨语言场景下的无缝切换与高效语义理解。多人对话建模：构造多人对话数据，模拟真实场景，增强模型的对话处理能力。用端到端模型融合上下文信息，生成个性化的响应和总结，实现自然且连贯的多方互动。情感理解与表达：基于上下文信息，用思维链技术生成符合对话场景的情感全局表征，用在生动的情感语音回复生成，提升对话交流的真实感。实时音色克隆与切换：提供高保真声音模仿技术，基于思维链技术进行控制信号推理，支持多角色语音扮演风格及与用户自身声音之间的实时无感切换。灵活拓展：强大的对齐策略，支持文本与音频模态的任意方式拼接融合，为集成大规模文本大模型中的多种增强机制（如联网搜索、RAG检索增强生成等）提供统一且可扩展的接口。