当前位置: 网站首页 >AI教程资讯 >正文

LCVD – 川大推出的光照可控肖像动画生成框架

来源:爱论文 时间:2025-03-11 15:27:26

LCVD是什么

LCVD(Lighting Controllable Video Diffusion Model)是四川大学推出的高保真、光照可控的肖像动画生成框架。LCVD基于分离肖像的内在特征(如身份和外观)与外在特征(如姿态和光照),参考适配器和阴影适配器将特征分别映射到不同的子空间中。在动画生成过程中,LCVD结合特征子空间,基于多条件分类器自由引导机制精细调控光照效果,保留肖像的身份和外观。模型基于稳定的视频扩散模型(SVD),生成与驱动视频姿态一致且符合目标光照条件的高质量肖像动画。LCVD在光照真实感、图像质量和视频一致性方面显著优于现有方法,为虚拟现实、视频会议和影视制作等领域提供了强大的技术支持。

LCVD

LCVD的主要功能

肖像动画化:将静态肖像转化为动态视频,匹配驱动视频中的头部动作和表情。光照控制:在动画生成过程中,根据用户指定或参考图像的光照条件对肖像进行重打光。身份与外观保留:在动画和重打光过程中,保持肖像的身份和外观特征,避免身份信息丢失。高质量视频生成:生成的视频在光照真实感、图像质量和视频一致性方面表现优异,适合虚拟现实、视频会议和影视制作等场景。

LCVD的技术原理

特征分离:参考适配器(Reference Adapter)将参考肖像的内在特征(身份和外观)映射到特征空间。阴影适配器(Shading Adapter)将外在特征(光照和姿态)映射到特征空间。基于分离内在和外在特征,模型在动画化过程中独立控制光照和姿态。光照可控的扩散模型:基于稳定视频扩散模型(Stable Video Diffusion Model),用多条件分类器自由引导(Classifier-Free Guidance)调整光照效果。修改引导强度(如权重 ω),增强或减弱光照提示的影响,实现精细的光照控制。运动对齐与长视频生成:基于运动对齐模块,确保生成的肖像与驱动视频的姿态一致。用扩散模型采样方法,生成任意长度的视频,基于重叠策略确保视频片段之间的平滑过渡。训练与优化:在训练阶段,自监督学习优化适配器和扩散模型,确保生成的视频在光照、姿态和身份上的一致性。用损失函数(如 LPIPS、FID 等)评估和优化生成视频的质量。

LCVD的项目地址

arXiv技术论文:https://arxiv.org/pdf/2502.19894

LCVD的应用场景

虚拟现实(VR)和增强现实(AR):创建逼真的虚拟角色,与虚拟或现实场景自然融合。视频会议:实时生成高质量肖像动画,降低带宽需求,提升用户体验。影视制作:快速生成符合不同光照条件的肖像动画,用于特效和虚拟场景。游戏开发:生成逼真的虚拟角色动画,增强游戏的真实感和沉浸感。社交媒体和内容创作:支持用户生成个性化动态头像或短视频,丰富内容创作形式。
上一篇:SepLLM – 基于分隔符压缩加速大语言模型的高效框架
相关资讯 更多+
  • LCVD – 川大推出的光照可控肖像动画生成框架
    LCVD – 川大推出的光照可控肖像动画生成框架

    LCVD(Lighting Controllable Video Diffusion Model)是四川大学推出的高保真、光照可控的肖像动画生成框架。LCVD基于分离肖像的内在特征(如身份和外观)与外在特征(如姿态和光照),参考适配器和阴影适配器将特征分别映射到不同的子空间中。

    AI教程资讯 2023-04-14

  • SepLLM – 基于分隔符压缩加速大语言模型的高效框架
    SepLLM – 基于分隔符压缩加速大语言模型的高效框架

    SepLLM是香港大学、华为诺亚方舟实验室等机构联合提出的用于加速大语言模型(LLM)的高效框架,通过压缩段落信息并消除冗余标记,显著提高了模型的推理速度和计算效率。SepLLM的核心是利用分隔符(如标点符号)对注意力机制的贡献,将段落信息压缩到这些标记中,减少计算负担。

    AI教程资讯 2023-04-14

  • CogView4 – 智谱开源的AI文生图模型,支持生成汉字
    CogView4 – 智谱开源的AI文生图模型,支持生成汉字

    CogView4 是智谱推出的开源文生图模型,具有60亿参数,支持原生中文输入和中文文字生成。模型在 DPG-Bench 基准测试中综合评分排名第一,达到开源文生图模型的最先进水平(SOTA)。

    AI教程资讯 2023-04-14

  • PRefLexOR – MIT 团队推出的新型自学习AI框架
    PRefLexOR – MIT 团队推出的新型自学习AI框架

    PRefLexOR(Preference-based Recursive Language Modeling for Exploratory Optimization of Reasoning)是MIT团队提出的新型自学习AI框架,结合了偏好优化和强化学习(RL)的概念,模型能通过迭代推理改进自我学习。框架的核心是递归推理算法,模型在训练和推理阶段会进行多步推理、回顾和改进中间步骤,最终生成更准确的输出。

    AI教程资讯 2023-04-14

最新录入 更多+
确定