Infinity – 字节跳动推出的高分辨率图像生成模型-爱论文

Infinity是什么

Infinity是字节跳动推出的基于位级自回归建模的视觉生成模型，能根据语言指令生成高分辨率、逼真的图像。Infinity通过无限词汇量的标记器、分类器和位自纠正机制，显著提升图像生成的细节和质量，超越现有的顶级扩散模型，生成一张1024×1024的高质量图像仅需0.8秒，比SD3-Medium快2.6倍，且具有更快的推理速度。Infinity为自回归文本到图像生成模型设定了新的性能标准。

Infinity的主要功能

文本到图像合成：用户输入文本描述，系统将生成相应的图像内容。空间推理：在生成图像时考虑空间关系，确保图像的空间布局合理。文本渲染：在图像中渲染文本，根据用户的指令调整字体、样式、颜色等。多风格和长宽比适应：生成不同风格和长宽比的图像，适应多样化的视觉效果需求。

Infinity的技术原理

位视觉自回归建模：基于位级别的预测框架重新定义视觉自回归模型，用无限词汇量的标记器和分类器。无限词汇量标记器：将标记器的词汇量扩展到无穷大，减少量化误差，提高细节重建能力。位自纠正机制：在训练过程中随机翻转某些位模拟预测错误，并重新量化残差特征，让系统具备自我纠正的能力。变换器（Transformer）扩展：扩展变换器的大小增强模型的生成能力。量化连续特征：将连续的特征量化为索引标签，通过位标签（量化特征）提供稳定的监督信号。

Infinity的项目地址

项目官网：foundationvision.github.io/infinityGitHub仓库：https://github.com/FoundationVision/InfinityHuggingFace模型库：https://huggingface.co/FoundationVision/InfinityarXiv技术论文：https://arxiv.org/pdf/2412.04431

Infinity的应用场景

数字艺术创作：艺术家和设计师生成独特的数字艺术作品或设计原型。游戏开发：在游戏设计中，快速生成游戏环境、角色概念图或其他视觉元素。电影和娱乐行业：用在生成电影中的场景概念图、特效背景或动画预览图。广告和营销：根据广告文案快速生成吸引人的广告图像，提高营销材料的吸引力。社交媒体内容：用户生成社交媒体帖子的个性化图像，如Instagram或Twitter的帖子配图。