万相首尾帧模型 – 阿里通义开源的首尾帧生视频模型-爱论文

万相首尾帧模型是什么

万相首尾帧模型（Wan2.1-FLF2V-14B）是开源的14B参数规模的首尾帧生视频模型。模型根据用户提供的首帧和尾帧图像，自动生成流畅的高清视频过渡效果，支持多种风格和特效变换。万相首尾帧模型基于先进的DiT架构，结合高效的视频压缩VAE模型和交叉注意力机制，确保生成视频在时空上高度一致。用户可在通义万相官网免费体验。

万相首尾帧模型的主要功能

首尾帧生视频：根据用户提供的首帧和尾帧图像，生成时长5秒、720p分辨率的自然流畅视频。支持多种风格：支持生成写实、卡通、漫画、奇幻等风格的视频。细节复刻与真实动作：精准复刻输入图像细节，生成生动自然的动作过渡。指令遵循：基于提示词控制视频内容，如镜头移动、主体动作、特效变化等。

万相首尾帧模型的技术原理

DiT架构：核心架构基于DiT（Diffusion in Time）架构，专门用在视频生成。基于Full Attention机制精准捕捉视频的长时程时空依赖关系，确保生成视频在时间和空间上的高度一致性。视频压缩VAE模型：引入高效的视频压缩VAE（Variational Autoencoder）模型，显著降低运算成本，同时保持生成视频的高质量。让高清视频生成更加经济且高效，支持大规模的视频生成任务。条件控制分支：用户提供的首帧和尾帧作为控制条件，基于额外的条件控制分支实现流畅且精准的首尾帧变换。首帧与尾帧同若干零填充的中间帧拼接，构成控制视频序列。序列进一步与噪声及掩码（mask）拼接，作为扩散变换模型（DiT）的输入。交叉注意力机制：提取首帧和尾帧的CLIP语义特征，通过交叉注意力机制（Cross-Attention Mechanism）注入到DiT的生成过程中。画面稳定性控制确保生成视频在语义和视觉上与输入的首尾帧保持高度一致。训练与推理：训练策略基于数据并行（DP）与完全分片数据并行（FSDP）相结合的分布式策略，支持720p、5秒视频切片训练。分三个阶段逐步提升模型性能：第一阶段：混合训练，学习掩码机制。第二阶段：专项训练，优化首尾帧生成能力。第三阶段：高精度训练，提升细节复刻与动作流畅性。