HunyuanCustom – 腾讯混元开源的多模态定制视频生成框架-爱论文

HunyuanCustom是什么

HunyuanCustom是腾讯混元团队推出的多模态驱动的定制化视频生成框架。HunyuanCustom支持图像、音频、视频和文本等多种输入条件，支持生成具有特定主体和场景的高质量视频。引入基于LLaVA的文本-图像融合模块和图像ID增强模块，HunyuanCustom在身份一致性、真实感和文本-视频对齐方面显著优于现有方法。框架支持音频驱动和视频驱动的视频生成，广泛用在虚拟人广告、虚拟试穿和视频编辑等领域，展示强大的可控性和灵活性。

HunyuanCustom的主要功能

单主体视频定制化：根据输入的图像和文本描述生成视频，确保主体身份一致性。多主体视频定制化：支持多个主体的交互生成，处理复杂的多主体场景。音频驱动视频定制化：根据音频和文本描述生成视频，支持灵活的音频驱动动画。视频驱动视频定制化：支持基于视频输入的对象替换或添加，用在视频编辑和对象替换。虚拟人广告和虚拟试穿：生成虚拟人与产品互动的广告视频，或进行虚拟试穿展示。灵活的场景生成：根据文本描述生成不同场景下的视频，支持多样化的内容创作。

HunyuanCustom的技术原理

多模态融合模块：文本图像融合模块：基于 LLaVA，将图像中的身份信息与文本描述进行融合，增强多模态理解能力。图像 ID 增强模块：基于时间轴上的信息拼接，用视频模型的时间建模能力，强化主体身份特征，确保视频生成中的身份一致性。音频驱动机制：AudioNet 模块基于空间交叉注意力机制，将音频特征注入视频特征中，实现音频与视频的层次化对齐，支持音频驱动的视频生成。视频驱动机制：视频特征对齐模块，将输入视频通过 VAE 压缩到潜在空间，基于 patchify 模块进行特征对齐，确保与噪声潜变量的特征一致性。身份解耦模块：基于身份解耦的视频条件模块，将视频特征高效注入到潜在空间，支持视频驱动的视频生成。数据处理与增强：基于严格的预处理流程，包括视频分割、文本过滤、主体提取和数据增强，确保输入数据的高质量，提升模型性能。

HunyuanCustom的项目地址

项目官网：https://hunyuancustom.github.io/GitHub仓库：https://github.com/Tencent/HunyuanCustomHuggingFace模型库：https://huggingface.co/tencent/HunyuanCustomarXiv技术论文：https://arxiv.org/pdf/2505.04512v1