3DV-TON – 阿里达摩院联合浙大等推出的视频虚拟试穿框架-爱论文

3DV-TON是什么

3DV-TON（Textured 3D-Guided Consistent Video Try-on via Diffusion Models）是阿里巴巴达摩院、湖畔实验室和浙江大学联合推出的基于扩散模型的视频虚拟试穿框架，能解决现有方法在处理复杂服装图案和多样化人体姿态时生成效果不佳的问题。框架基于生成可动画化的纹理化3D网格作为显式的帧级指导，确保生成的试穿视频在视觉质量和时间一致性上表现出色。3DV-TON引入高分辨率的基准数据集HR-VVT，推动视频试穿技术的研究进展。

3DV-TON的主要功能

高保真视觉效果：准确还原服装细节，生成逼真的试穿效果。时间一致性：确保视频中服装纹理在不同帧之间保持连贯的运动，避免出现伪影或变形。适应复杂场景：支持处理多样化服装类型、复杂人体姿态和动态场景。提供基准数据集：引入高分辨率视频试穿基准数据集HR-VVT，推动相关领域的研究和评估。

3DV-TON的技术原理

纹理化3D指导：单图像3D重建技术生成可动画化的纹理化3D网格。将3D网格与原始视频的姿态同步，为扩散模型提供显式的帧级指导，确保生成的试穿结果在外观和运动上的一致性。动态3D指导管道：选择关键帧进行初始2D图像试穿，重建动画化纹理化3D网格。优化SMPL-X参数，确保3D网格与人体姿态的精确对齐。矩形掩码策略：防止服装信息泄露，避免在动态人体和服装运动中出现伪影。结合服装图像和试穿图像作为参考，提供上下文信息，增强生成效果。扩散模型架构：基于Stable Diffusion，扩展UNet架构支持伪3D结构。基于时间模块集成，实现真实感的运动生成，减少对显式光流或变形操作的依赖。训练策略：结合图像和视频数据进行训练，基于随机选择数据类型平衡图像质量和时间一致性。用分类器自由引导（CFG）策略，随机省略某些条件输入，增强模型的鲁棒性。