VideoGrain – 悉尼科技大学和浙大推出的视频编辑框架-爱论文

VideoGrain是什么

VideoGrain 是悉尼科技大学和浙江大学推出的零样本多粒度视频编辑框架，能实现类别级、实例级和部件级的精细视频修改。VideoGrain基于调节时空交叉注意力和自注意力机制，增强文本提示对目标区域的控制能力，保持区域间的特征分离，解决现有扩散模型中语义错位和特征耦合的问题。VideoGrain 不依赖于额外的参数调整，能在真实世界场景中实现高质量的视频编辑，保持时间一致性。VideoGrain在多粒度编辑任务中表现出色，显著优于现有的 T2I 和 T2V 方法，为视频内容创作提供更灵活和精准的工具。

VideoGrain的主要功能

多粒度视频编辑：将视频中的多个对象分别编辑为不同类别（如将一个人编辑为“蜘蛛侠”，另一个人编辑为“北极熊”），或对对象的局部进行修改（如改变衣服颜色或添加配饰）。文本驱动的区域控制：基于自然语言提示精确控制视频中的特定区域，实现精准的编辑效果时间一致性：在编辑过程中，保持视频的时间连贯性，避免因编辑导致的帧间闪烁或不自然的过渡。无需参数调整：作为零样本方法，VideoGrain 不需对模型进行额外的训练或参数调整。高效计算性能：在实验中表现出较低的内存占用和较快的编辑速度，适合实时视频编辑应用。

VideoGrain的技术原理

交叉注意力调节：基于调节交叉注意力层，增强文本提示对目标区域的聚焦能力，同时抑制对无关区域的注意力。将文本提示与视频帧的空间区域进行绑定，基于调整查询-键对的注意力权重，使文本特征集中在对应的区域，实现文本到区域的精准控制。自注意力调节：在自注意力层中，增强区域内特征的自注意力，减少区域间的干扰。模型能避免因类别特征耦合导致的编辑错误（例如将不同实例视为同一类别）。确保每个查询只关注其目标区域，保持了特征的分离和编辑的独立性。

VideoGrain的项目地址

项目官网：https://knightyxp.github.io/VideoGrainGitHub仓库：https://github.com/knightyxp/VideoGrainHuggingFace模型库：https://huggingface.co/papers/2502.17258arXiv技术论文：https://arxiv.org/pdf/2502.17258