T2I-R1 – 港中文联合上海AI Lab推出文生图模型-爱论文

T2I-R1是什么

T2I-R1 是香港中文大学和上海AI Lab联合推出的新型文本生成图像模型。基于引入双层推理机制，语义级链式思维（CoT）和 Token 级 CoT，实现高层次图像规划与低层次像素生成的解耦，显著提升图像生成的质量和鲁棒性。T2I-R1 基于 BiCoT-GRPO 的强化学习框架，用多专家奖励模型集成优化生成过程。在多个基准测试中，T2I-R1 的性能超越当前的顶尖模型 FLUX.1，展现了在复杂场景理解和高质量图像生成方面的强大能力。

T2I-R1的主要功能

高质量图像生成：基于双层推理机制（语义级和 Token 级 CoT），生成更符合人类预期的高质量图像。复杂场景理解：推理用户提示中的复杂语义，生成与提示高度一致的图像，在处理不常见或模糊场景时表现出色。优化生成多样性：基于语义级 CoT 的规划能力，增加生成图像的多样性，避免单一输出。

T2I-R1的技术原理

双层 CoT 推理机制：语义级 CoT：在图像生成前，对文本提示进行推理规划，明确图像的整体结构和元素布局。Token 级 CoT：在图像生成过程中，逐块生成图像 Token，专注于局部细节和视觉连贯性。BiCoT-GRPO 算法：基于强化学习（Reinforcement Learning, RL）联合优化语义级和 Token 级 CoT，确保推理过程与生成过程的协同优化。用群组相对奖励（Group-Relative Reward）和多专家奖励模型集成，从多个维度评估生成图像的质量。多专家奖励模型集成：结合人类偏好模型、目标检测器、视觉问答模型等多种视觉专家，从美学质量、文本对齐、对象存在性等多个方面评估生成图像。基于集成多种奖励模型，防止模型对单一奖励模型的过拟合，提升生成结果的稳定性和泛化能力。