PAM：个性化图像美学评估预测模型。

数据集 05/09/2023

三个要点
✔️ 解决了个性化图像的审美评价问题
✔️ 收集了一个新的数据集，并建立了一个新的基于差异的预测模型
✔️ 提出了一种主动学习算法，用于实际应用中的审美评价学习。

Personalized Image Aesthetics
written by Jian Ren, Xiaohui Shen, Zhe Lin, Radomir Mech, David J. Foran
(Submitted on 25 December 2017)
Comments: Published in 2017 IEEE International Conference on Computer Vision (ICCV)

本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。

导言

对图像进行审美评价有许多潜在的应用，包括图像检索、照片排名和个人相册整理。这项任务是一个具有挑战性的问题，需要对图像中的摄影属性和语义有深入的了解。虽然最近深度学习的发展终于带来了重大进展，但大部分工作只是对大众的一般审美评价进行了分类，而在预测特定个人的审美评价方面却鲜有建树。

本文探讨了预测个性化图像美学评价的问题，我们称之为个性化图像美学。

数据集

FLICKR-AES

我们从 Flickr 网站下载了 4,000 张知识共享许可的照片，并在 Amazon Mechanical Turk 上收集了 210 名注释者的数据，这样每张图片都可以由五个不同的人进行评分。他们被要求按照 1 到 5 的五级评分标准来评定美学评价分数。

由此产生的数据集被分为训练集和验证集。(在此过程中，注释者不包括在训练集和验证集中）。

REAL-CUR

此外，还收集了由 14 张个人相册照片和每位所有者自己的评价组成的额外数据集。每个人的数据集中约有 200 张照片。

个人用户偏好分析

FLICKR-AES 用于研究单个用户评分与各种图像特征之间的相关性。我们将重点放在图像内容属性（语义类别）和美学属性（如对称性）上，将其视为影响图像美学评价的因素。

首先，从训练数据中选取 111 名注释者，利用斯皮尔曼相关系数研究他们的偏好与图像内容和美学属性之间的关系。将所有受试者的审美评价平均分作为基本事实，并利用其偏移量（残差、差异）来计算与各属性的相关性。

上图显示了每个属性与随机抽取的八位注释者的审美评价之间的关系。从图中可以看出，每个人都有不同的偏好属性。

标有 Random1 和 Random2 的部分显示了两个假定的注释者，他们从训练集中随机抽取 1000 张图片，并使用注释者对这些图片的平均评分（基本真实值）。图像的美学评分与属性之间的相关性分别按与基本真实值相差 0.2 和 2 个标准差的扰动采样计算。从中可以看出，平均审美评价与每个属性几乎没有相关性，而在每个用户内部却有很强的相关性。

个性化美学评估模型 PAM

模型结构

总体结构如下

首先，使用深度神经网络训练一个模型（通用美学网络），以预测整个用户集的美学评价（基本事实）。

然后，计算出每个用户的审美评价与地面实况的差异（偏移）。然后，我们的目标是训练一个回归模型，预测图像输入的这一差异。

在这里，每个用户的评价分数数据数量并不多，可以想象直接从图像中进行回归预测是很困难的。因此，我们分别训练神经网络（属性网络、内容网络）来预测图像输入的美学属性和内容属性，然后将它们的输出合并，使用支持向量回归技术来预测差异。

主动学习算法

如果我们要创建一个通过学习用户在现实世界中的偏好来策划照片的应用程序，那么一个能够主动学习用户偏好的系统将会非常有效。为此，我们采用了一种称为主动学习的方法来有效收集用户的喜好。

为尽量减少要求用户评分的照片数量，设定了两个标准

(1) 选择的照片应尽可能涵盖各种风格，并尽量减少冗余。

(2) 选择用户评价与基本事实之间偏移分值较大的图像，作为信息量相对较大的图像。

算法如下

对于一张尚未标注用户评分的图片 $p_i$，特征提取网络（属性网络、内容网络）的综合输出为 $v_i$，使用它进行支持向量回归预测的差值 (偏移）为 $r_i$。同样，根据已注释的图像 $p_j$ 计算 $v_j$ 和 $r_j$。

在此基础上，上述算法确保选择与 $v_j$ 距离总和最大的 $p_i$，以考虑标准 (1)（等式 3）。为了考虑标准（2），则根据偏移量的大小进行加权（等式 2）。

实验结果

PAM 模型的预测性能。

下表比较了提议的方法（PAM）与使用支持向量回归直接从图像预测审美评级的方法以及之前研究的基于特征的矩阵因式分解（FPMF）的结果。当用于匹配个人审美评价的训练数据数量为 10 和 100 时，结果分为左侧和右侧。每个值代表预测值与正确答案之间的相关系数与在地面实况数据上训练的模型的 0.514 相比提高了多少。