EMAGE – 清华联合东大等机构推出的音频生成全身共语手势框架-爱论文

EMAGE是什么

EMAGE（Expressive Masked Audio-conditioned GEsture modeling）是清华大学、东京大学、庆应义塾大学等机构推出的生成全身共语手势框架。EMAGE能根据音频和部分遮蔽的手势输入，生成与音频同步的完整全身手势，包括面部表情、身体动作、手势和全局运动。EMAGE基于掩蔽音频手势变换器实现音频到手势的生成和掩蔽手势重建的联合训练，有效编码音频和身体手势提示。EMAGE用四个组合的预训练VQ-VAE（Vector Quantized Variational AutoEncoders）解码局部面部和身体动作，基于预训练的全局运动预测器解码全局平移。

EMAGE的主要功能

生成与音频同步的手势：根据输入的音频信号，生成与音频节奏和语义相匹配的全身手势。接受部分预定义手势输入：基于用户提供的部分手势（如特定动作或姿势）作为提示，生成完整的、自然的手势序列。生成多样化的手势：组合多个预训练的VQ-VAE（向量量化变分自编码器），生成丰富多样的手势动作，避免单一和重复的结果。支持全身手势生成：支持生成面部和上肢动作和下肢和全局运动，实现更自然、完整的人体动画效果。

EMAGE的技术原理

掩蔽音频手势变换器：在训练过程中，部分手势数据被随机遮蔽，模型基于音频和其他未遮蔽的手势信息预测遮蔽部分。掩蔽机制类似于自然语言处理中的BERT模型，能增强模型对局部和全局信息的理解能力。进行音频到手势生成和掩蔽手势重建的训练，让模型能够更好地学习音频与手势之间的映射关系，同时利用已有的手势信息（即使部分被遮蔽）来生成更准确的手势。音频特征融合：将音频的节奏特征（如音调的起伏、节奏的强弱）和内容特征（如文本转录的词嵌入）结合起来，使生成的手势既能反映音频的节奏，能与语义相关联。例如，在提到“走路”时，模型可以生成相应的行走手势。预训练的VQ-VAE：将身体的不同部分（如面部、上肢、下肢）分别用独立的VQ-VAE建模，每个VQ-VAE负责生成特定部分的动作。这种分段建模方式能更好地捕捉不同身体部位与音频之间的独特关系，提高生成手势的准确性和多样性。离散表示学习：基于VQ-VAE将连续的手势动作转换为离散的表示，便于模型学习和生成。这种离散表示类似于语言中的词汇，让模型更高效地处理和生成复杂的手势序列。全局运动预测器：除局部动作的生成，基于预训练的全局运动预测器估计身体的全局平移（如行走、转身等），让生成的手势在局部动作上自然，整体运动也更加连贯和真实。

EMAGE的项目地址

项目官网：https://pantomatrix.github.io/EMAGEGitHub仓库：https://github.com/PantoMatrix/EMAGEarXiv技术论文：https://arxiv.org/pdf/2401.00374在线体验Demo：https://huggingface.co/spaces/H-Liu1997/EMAGE

EMAGE的应用场景

虚拟现实（VR）与增强现实（AR）：生成虚拟角色的自然手势和表情，提升虚拟社交、虚拟会议、虚拟游戏等场景中的交互体验，让虚拟角色更加生动逼真。动画制作：辅助动画电影、电视剧及动态广告的制作，根据对话内容自动生成角色手势和表情，减少动画师工作量，提高制作效率。虚拟客服与数字人：为在线客服、智能助手等创建自然流畅的手势和表情，在与用户交流时更具亲和力和真实感，提升用户体验。教育与培训：在教育领域，虚拟教师根据讲解内容生成相应手势，帮助学生更好地理解知识；在培训场景中，生成逼真的操作演示手势，辅助教学。娱乐行业：在游戏开发中，根据角色语音生成匹配的手势和表情，增强游戏的沉浸感和真实感。