Sketch2Anim – 爱丁堡大学等机构推出的2D草图转3D动画框架-爱论文

Sketch2Anim是什么

Sketch2Anim 是爱丁堡大学联合Snap Research、东北大学推出的自动化框架，能将2D草图故事板直接转换为高质量的3D动画。基于条件运动合成技术，用3D关键姿势、关节轨迹和动作词精确控制动画的生成。框架包含两个核心模块，多条件运动生成器和2D、3D神经映射器。Sketch2Anim能生成自然流畅的3D动画，支持交互式编辑，极大地提高动画制作的效率和灵活性。

Sketch2Anim的主要功能

自动转换：将2D草图故事板快速转换为3D动画，减少手动制作的繁琐步骤。高质量动画：生成流畅、自然的3D动画，支持多个片段的平滑过渡。交互编辑：用户能实时调整生成的动画，如修改关键姿势或轨迹，提升设计灵活性。提高效率：自动化流程显著提高动画制作效率，支持快速迭代设计。

Sketch2Anim的技术原理

多条件运动生成器：基于运动扩散模型（motion diffusion model），结合轨迹ControlNet和关键姿势适配器（keypose adapter）。轨迹ControlNet负责将关节轨迹嵌入到运动扩散模型中，控制全局动态运动。关键姿势适配器在轨迹ControlNet的基础上，进一步细化局部静态姿势，确保生成的动画精确符合输入的关键姿势。2D-3D神经映射器：包含2D和3D的关键姿势和轨迹编码器。在共享嵌入空间中对齐2D草图和3D运动约束，实现直接的2D到3D动画控制。运动融合与优化：基于确定性DDIM逆过程和引导去噪，将多个动画片段平滑过渡，生成完整的动画。用分类器自由引导和二阶优化方法，进一步优化生成的动画，更符合输入的2D条件。数据处理与增强：用HumanML3D数据集进行训练，包含14,646个动作和44,970个对应的运动注释。基于相机视图增强、关节扰动和身体比例扰动，生成多样化的2D关键姿势和轨迹，提高模型的泛化能力。