Skywork UniPic：新一代多模态模型，集图像理解、生成和编辑于一体，效率极高

13/08/2025

三个要点
✔️ 提出了一个集成图像理解、生成和编辑的高效 1.5B 参数多模态模型
✔️ 采用 MAR 和 SigLIP2 的解耦编码策略，实现图像质量和语义理解
✔️ 实现了高性能，如 GenEval 0.86 和 GEdit-Bench 5.83 以及一般 GPU即使在普通 GPU 上也能生成高分辨率图像

Skywork UniPic: Unified Autoregressive Modeling for Visual Understanding and Generation
written by Peiyu Wang, Yi Peng, Yimeng Gan, Liang Hu, Tianyidan Xie, Xiaokun Wang, Yichen Wei, Chuanxin Tang, Bo Zhu, Changshi Li, Hongyang Wei, Eric Li, Xuchen Song, Yang Liu, Yahui Zhou
(Submitted on 5 Aug 2025)
Comments: Published on arxiv.
Subjects: Computer Vision and Pattern Recognition (cs.CV)

本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。

概述

本研究提出的 Skywork UniPic 是一个 1.5B 参数的自回归模型，它将图像理解、从文本生成图像和图像编辑集成在一个架构中。

传统上，许多多模态人工智能在单独的模型和适配器中处理理解、生成和编辑，导致性能分散和推理成本增加。
UniPic 采用了 "解耦编码策略"，在一个共同的 LLM 骨干上连接了以生成为重点的屏蔽自回归（MAR）编码器和以理解为重点的 SigLIP2 编码器，从而实现了特定任务优化和相互知识转移。此外，该系统还结合了 1 亿规模的高质量数据集、带有奖励模型的数据质量管理以及从 256 像素到 1024 像素的渐进式分辨率扩展学习，从而在 RTX 4090 等常见 GPU 环境中实现高清图像生成。

评估结果表明，GenEval 0.86、DPG-Bench 85.5 和 GEdit-Bench 5.83 等模型具有很高的性能，与同等规模和尺度的现有集成模型相比具有很强的竞争力。

建议的方法

Skywork UniPic 的主要特点是采用 "解耦编码策略"，将图像理解、生成和编辑高效集成到一个模型中。

在生成任务中，使用 MAR 编码器-解码器支持高分辨率合成，同时保持像素级保真度。
另一方面，理解任务使用 SigLIP2 编码器进行语义丰富的特征提取。
两者通过独立的 MLP 投影层连接到 15 亿参数的 Qwen2.5 主干网，从而通过统一的自回归处理实现任务间的知识共享。

学习以四级课程结构进行，从 MAR 预学习、MAR-LLM 对齐、任务集成优化到利用奖励模型的 SFT。
数据质量保证使用在 GRPO 和 Skywork-EditReward 上训练的 Skywork-ImgReward（专门保证编辑准确性），以建立可用于各种编辑和生成场景的数据集，同时消除低质量样本。

实验

实验在三个领域进行：图像生成、图像编辑和图像理解。

在图像生成任务中，使用了 GenEval（建设性理解）和 DPG-Bench（长指令跟踪），UniPic 在 GenEval 中的准确率为 0.86，在 DPG-Bench 中的准确率为 85.5。
在单个对象生成、多个对象组合和位置理解方面，UniPic 的准确率尤其高。

在编辑任务方面，UniPic 在 GEdit-Bench 和 ImgEdit-Bench 分别取得了 5.83 和 3.49 的高分，在行为编辑和风格修改等特定类别中表现出了优势。
比较对象包括 OmniGen2 和 BAGEL 等集成模型，以及 ICEdit 和 Step1X-Edit 等专业编辑模型。

此外，UniPic 还能在 RTX 4090 上生成 1024 x 1024 分辨率的图像，GPU 内存不足 15 GB，这证明了它作为集成式多模态基础设施模型的实用性，在性能、效率和多功能性方面取得了良好的平衡。