FaceShot – 同济大学联合上海 AI Lab等推出的肖像动画生成框架-爱论文

FaceShot是什么

FaceShot是同济大学、上海 AI Lab和南京理工大学推出的新型无需训练的肖像动画生成框架。用外观引导的地标匹配模块和基于坐标的地标重定位模块，为各种角色生成精确且鲁棒的地标序列，基于潜在扩散模型的语义对应关系，跨越广泛的角色类型生成面部动作序列。将地标序列输入预训练的地标驱动动画模型生成动画视频。FaceShot突破对现实肖像地标的限制，适用于任何风格化的角色和驱动视频，或作为插件与任何地标驱动的动画模型兼容，显著提升整体性能。

FaceShot的主要功能

角色动画生成：为各种类型的角色生成流畅且自然的面部动画，保持角色的原始特征。跨领域动画：支持从人类视频驱动非人类角色（如玩具、动物等）的动画，扩展肖像动画的应用范围。无需训练：无需针对每个角色或驱动视频进行额外的训练或微调，直接生成高质量的动画。兼容性：作为插件与任何地标驱动的动画模型无缝集成。

FaceShot的技术原理

外观引导的地标匹配模块：基于潜在扩散模型的语义对应关系，结合外观先验知识，为任意角色生成精确的面部地标。用DDIM逆过程从参考图像和目标图像中提取扩散特征，基于图像提示减少不同领域之间的外观差异。用余弦距离进行地标匹配，确保地标在语义上的一致性，引入外观画廊进一步优化匹配效果。基于坐标的地标重定位模块：基于坐标系变换捕捉驱动视频中的细微面部动作，生成与之对齐的地标序列。模块分为全局运动和局部运动两个阶段，全局运动负责计算面部的整体平移和旋转，局部运动则分别对眼睛、嘴巴、鼻子、眉毛和面部边界等部分进行相对运动和点运动的重定位。基于简单的坐标变换公式，模块能精确捕捉面部的全局和局部运动，生成稳定的地标序列。地标驱动的动画模型：模块将生成的地标序列输入预训练的动画模型（如MOFA-Video），生成最终的动画视频。将地标序列作为额外条件输入到动画模型的U-Net中，确保模型能精确跟踪地标序列中的运动。基于这种方式，动画模型能用地标序列生成与驱动视频一致的动画效果，保持角色的视觉身份，实现高质量的肖像动画生成。