当前位置: 网站首页 >AI教程资讯 >正文

PixelFlow – 港大联合 Adobe 推出的图像生成模型

来源:爱论文 时间:2025-04-25 11:14:11

PixelFlow是什么

PixelFlow 是香港大学和Adobe联合推出的图像生成模型,支持直接在像素空间中生成图像。PixelFlow基于高效的级联流建模,从低分辨率逐步提升到高分辨率,降低计算成本。PixelFlow 在 256×256 ImageNet 类别条件图像生成任务中达到 1.98 的 FID 分数,展现出色的图像质量和语义控制能力。PixelFlow在文本到图像生成任务中也表现出色,支持生成高质量且与文本描述高度一致的图像。PixelFlow 的端到端可训练性和高效的多尺度生成策略为下一代视觉生成模型提供新的研究方向。

PixelFlow

PixelFlow的主要功能

高质量图像生成:支持生成高分辨率、高质量的图像。类别条件图像生成:根据给定的类别标签生成相应的图像。文本到图像生成:根据文本描述生成与之匹配的图像,支持复杂的语义理解和视觉表现。

PixelFlow的技术原理

流匹配:流匹配是生成模型技术,基于一系列线性路径将先验分布(如标准正态分布)的样本逐步转换为目标数据分布的样本。训练时,基于线性插值构造训练样本,训练模型预测从中间样本到真实数据样本的转换速度。多尺度生成:基于多阶段去噪过程逐步增加图像分辨率。每个阶段从较低分辨率的噪声图像开始,逐步去噪提升分辨率,直到达到目标分辨率。逐步提升分辨率的方法避免在全分辨率下进行所有去噪步骤,显著降低计算成本。Transformer 架构:Patchify:将输入图像的空间表示转换为 1D 序列的标记。RoPE(Rotary Position Embedding):用 RoPE 替换原始的正弦余弦位置编码,更好地处理不同图像分辨率。分辨率嵌入:引入额外的分辨率嵌入区分不同分辨率。文本到图像生成:在每个 Transformer 块中引入交叉注意力层,将视觉特征与文本输入对齐。端到端训练:基于统一的参数集直接在像素空间中进行训练,无需预训练的 VAE 或其他辅助网络。训练时,模型从所有分辨率阶段均匀采样训练样本,用序列打包技术进行联合训练,提高训练效率和模型的可扩展性。高效的推理策略:在推理时,PixelFlow 从最低分辨率的高斯噪声开始,逐步去噪和提升分辨率,直到达到目标分辨率。支持多种 ODE 求解器(如 Euler 和 Dopri5),根据需要选择不同的求解器平衡速度和生成质量。

PixelFlow的项目地址

GitHub仓库:https://github.com/ShoufaChen/PixelFlowarXiv技术论文:https://arxiv.org/pdf/2504.07963在线体验Demo:https://huggingface.co/spaces/ShoufaChen/PixelFlow

PixelFlow的应用场景

艺术与设计:生成创意绘画、平面设计元素和虚拟角色。内容创作:辅助视频制作、游戏开发和社交媒体内容创作。教育与研究:作为教学工具,帮助理解复杂概念,辅助科研可视化。商业与营销:生成产品设计原型、广告图像和品牌推广内容。娱乐与互动:用在互动故事、VR/AR内容生成和个人化图像定制。
上一篇:AgentPrune – 同济联合港中文等机构推出的多智能体通信优化框架
相关资讯 更多+
  • PixelFlow – 港大联合 Adobe 推出的图像生成模型
    PixelFlow – 港大联合 Adobe 推出的图像生成模型

    PixelFlow 是香港大学和Adobe联合推出的图像生成模型,支持直接在像素空间中生成图像。PixelFlow基于高效的级联流建模,从低分辨率逐步提升到高分辨率,显著降低计算成本。PixelFlow 在 256×256 ImageNet 类别条件图像生成任务中达到 1 98 的 FID 分数,展现出色的图像质量和语义控制能力。

    AI教程资讯 2023-04-14

  • AgentPrune – 同济联合港中文等机构推出的多智能体通信优化框架
    AgentPrune – 同济联合港中文等机构推出的多智能体通信优化框架

    AgentPrune 是同济大学、香港中文大学等机构联合提出的针对大型语言模型(LLM)驱动的多智能体系统通信优化框架,通过“剪枝”技术,剔除冗余或有害的通信内容,降低通信成本提升系统性能。

    AI教程资讯 2023-04-14

  • 心影大模型 – 心影随形推出的AI模型,深度融合游戏攻略与角色陪伴
    心影大模型 – 心影随形推出的AI模型,深度融合游戏攻略与角色陪伴

    心影大模型是心影随形顶尖AI团队研发的AI大模型,正式通过国家生成式人工智能服务备案。模型专注于游戏领域,深度融合游戏攻略与角色陪伴场景,全面应用于“逗逗游戏伙伴”APP。

    AI教程资讯 2023-04-14

  • FlexIP – 腾讯推出的个性化图像生成编辑框架
    FlexIP – 腾讯推出的个性化图像生成编辑框架

    FlexIP 是腾讯提出的面向图像合成的灵活主体属性编辑框架,平衡图像生成中的身份保持和个性化编辑。框架采用双适配器架构,将身份保持与个性化编辑解耦,通过高层语义概念与低层空间细节确保身份完整性。

    AI教程资讯 2023-04-14

最新录入 更多+
确定