ShotAdapter – Adobe联合UIUC推出的多镜头视频生成框架-爱论文

ShotAdapter是什么

ShotAdapter是Adobe联合UIUC推出的用在文本到多镜头视频生成的框架，基于微调预训练的文本到视频模型，引入过渡标记和局部注意力掩码策略，实现对多镜头视频的生成。框架能确保角色在不同镜头中的身份一致性，支持用户用特定的文本提示控制镜头的数量、时长和内容。ShotAdapter推出从单镜头视频数据集中构建多镜头视频数据集的新方法，基于采样、分割和拼接视频片段来生成训练数据。

ShotAdapter的主要功能

多镜头视频生成：根据文本描述生成包含多个镜头的视频，每个镜头有不同的活动和背景。镜头数量和时长控制：用户用文本提示精确控制视频中镜头的数量和每个镜头的持续时间。角色身份一致性：在多个镜头中保持角色的身份一致。背景控制：支持在视频中保持背景一致或在镜头之间切换到新的背景，根据用户需求灵活调整。镜头特定内容控制：支持用户基于镜头特定的文本提示控制每个镜头的内容，实现对视频细节的精细控制。

ShotAdapter的技术原理

过渡标记：引入特殊的过渡标记，用在指示视频中镜头的切换。标记被嵌入到文本到视频模型中，让模型能识别和生成镜头之间的过渡。局部注意力掩码：为确保每个镜头的内容与文本提示紧密对应，基于局部注意力掩码。掩码策略限制模型中不同部分之间的交互，让每个文本提示只影响对应的视频帧，实现镜头特定的控制。微调预训练模型：基于在多镜头视频数据集上对预训练的文本到视频模型进行微调，生成多镜头视频。微调过程只需要相对较少的迭代（如5000次）让模型适应多镜头视频生成任务。数据集构建：为训练多镜头视频生成模型，推出从单镜头视频数据集中构建多镜头视频数据集的方法。基于采样、分割和拼接视频片段，及后处理步骤（如身份一致性检查和镜头特定字幕生成），创建适合训练的多镜头视频数据集。