MakeAnything – 新加坡国立大学开源的一致性图片序列生成框架-爱论文

MakeAnything是什么

MakeAnything 是新加坡国立大学 Show Lab团队推出的基于扩散变换器（Diffusion Transformer）的多领域程序性序列生成框架，基于文本描述或图像输入生成高质量的分步教程。MakeAnything 基于非对称低秩适配（LoRA）技术平衡泛化能力和任务特定性能，引入ReCraft模型实现从图像到过程的逆向生成。MakeAnything构建了涵盖21个领域（如绘画、手工、烹饪等）的大型数据集，包含超过24,000个标注序列。MakeAnything 框架能够生成逻辑连贯、视觉一致的教程，支持从文本到过程和从图像到过程的生成范式，在多种任务中展现了卓越的性能和泛化能力。

MakeAnything的主要功能

从文本生成教程：根据用户提供的文本描述（如“如何画一幅油画”或“如何制作乐高模型”），自动生成详细的分步教程，帮助用户逐步完成复杂的创作任务。从图像生成教程：用户上传一张成品图像（如一幅画或一个手工制品），MakeAnything 能逆向生成该作品的创作过程，展示从无到有的步骤。跨领域生成能力：支持多种领域（如绘画、手工、烹饪、3D建模等），根据不同的任务生成逻辑连贯且视觉一致的教程。高质量的教程输出：生成的教程逻辑清晰，且保持与输入文本或图像的高度一致性。

MakeAnything的技术原理

扩散变换器：使用扩散模型的核心思想，基于逐步去除噪声生成图像序列。结合Transformer架构，处理复杂的视觉和文本信息，生成高质量的程序性序列。非对称低秩适配：基于冻结预训练的编码器参数，仅对解码器进行微调，平衡模型的泛化能力和任务特定性能。适用于数据稀缺或分布不平衡的任务，有效避免过拟合。ReCraft模型：基于将静态图像分解为逐步的创作过程，实现从图像到过程的逆向生成。用多模态注意力机制，将图像条件信息融入生成过程中，确保生成的序列与输入图像高度一致。多领域数据集：构建包含21个领域、超过24,000个标注序列的大型数据集，为模型训练提供了丰富的数据支持。条件流匹配损失：优化噪声去除过程中的条件向量场，确保生成的序列在逻辑和视觉上与输入条件（文本或图像）保持一致。

MakeAnything的项目地址

GitHub仓库：https://github.com/showlab/MakeAnythingHuggingFace模型库：https://huggingface.co/showlab/makeanything https://huggingface.co/datasets/showlab/makeanythingarXiv技术论文：https://arxiv.org/pdf/2502.01572