GPT-4o 级图像生成的民主化：Janus-4o 和 ShareGPT-4o-Image 挑战
三个要点
✔️ ShareGPT-4o-Image是一个由91K张图像组成的合成数据集，是为了模仿GPT-4o的图像生成能力而建立的
✔️利用这些数据进行微调的新Janus-4o模型支持图像生成和图像编辑
✔️ 少量数据和较短的训练时间使现有的高性能模型能够通过少量数据和较短的训练时间，在图像生成性能方面优于现有的高性能模型
ShareGPT-4o-Image: Aligning Multimodal Models with GPT-4o-Level Image Generation
written by Junying Chen, Zhenyang Cai, Pengcheng Chen, Shunian Chen, Ke Ji, Xidong Wang, Yunjin Yang, Benyou Wang
(Submitted on 22 Jun 2025)
Comments: Published on arxiv.
Subjects: Computer Vision and Pattern Recognition (cs.CV); Artificial Intelligence (cs.AI); Machine Learning (cs.LG)
本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。
概述
本文构建了一个名为 "ShareGPT-4o-Image "的新的大规模合成数据集，目的是将 GPT-4o 的高级图像生成功能转移到一个开源的多模态模型中。此外，还提出了一个使用该模型的多模态大规模语言模型 "Janus-4o"。
ShareGPT-4o-Image 由 45,000 个文本的图像生成数据和 46,000 个使用图像和文本的图像转换数据组成，这两个数据都是使用 GPT-4o-Image 生成的高质量样本。根据这些数据对现有的 Janus-Pro 模型进行微调后，Janus-4o 不仅能从文本生成图像，还能编辑图像（从文本+图像输入生成图像）。值得注意的是，只需 91K 个样本和 6 个小时的训练，Janus-4o 的性能就能超越以前的模型。
这项研究为高性能图像生成技术的民主化做出了贡献，是加速开放式多模态研究的重要一步。
建议的方法
ShareGPT-4o-Image 是一个合成数据集，旨在模仿和提炼 GPT-4o-Image 的功能。该数据通过两种生成方案创建。
一种是 "提示驱动"，即定义属性（如对象、背景、风格），LLM 据此生成自然语言提示，GPT-4o-Image 据此输出图像。另一种是 "图像驱动"，即 LLM 根据现有图像生成详细描述，并将其与图像配对以创建数据。图像编辑数据由原始图像、编辑说明和编辑图像三部分组成，基于 14 个不同的任务，涵盖了大量的样式转换和元素添加。
然后，利用该数据集对现有的 Janus-Pro 模型进行微调，从而开发出 Janus-4o，该模型的结构既适用于纯文本输入，也适用于文本+图像组合输入，旨在为每种输入提供适当的表征学习。
实验
Janus-4o 的性能在两个任务中进行了评估：从文本生成图像和图像编辑。
在从文本生成图像方面，使用了 GenEval 和 DPG-Bench 基准来衡量构图一致性和视觉保真度。结果显示，与 Janus-Pro 相比，GenEval 的性能提高了 4 个百分点，DPG-Bench 的性能提高了 1.6 个百分点。
同时，ImgEdit-Bench 基准对图像编辑能力进行了评估，该基准在移动变化和风格转换等详细编辑项目上获得了高分。尤其值得注意的是，在使用少量训练数据（91K）的情况下，其性能与其他使用超过 400 万数据的模型相当，甚至超过了它们。
此外，人类评估实验清楚地表明，在生成图像的视觉吸引力和教学保真度方面，Janus-4o 明显优于 Janus-Pro 和 UltraEdit。这证明了 ShareGPT-4o-Image 的高数据质量及其有效性。
与本文相关的类别
