
PARA:用于预测个性化图像审美评价的大型数据集。
三个要点
✔️ 已经构建了一个大型的数据集,可以捕捉到个人的主观审美评价。它的独特之处在于,它不仅测量了图像的客观属性,而且还测量了观看者的主观反应,这也包括在数据集中。
✔️ 对数据集的分析显示,审美评价是对主观反应的强烈反映。
✔️ 通过使用数据集构建预测模型,很明显,使用主观数据可以提高预测个人审美评价的性能。
Personalized Image Aesthetics Assessment with Rich Attributes
written by Yuzhe Yang, Liwu Xu, Leida Li, Nan Qie, Yaqian Li, Peng Zhang, Yandong Guo
(Submitted on 31 Mar 2022)
Comments: Accepted to CVPR2022
Subjects: Computer Vision and Pattern Recognition (cs.CV)
code:
本文所使用的图片要么来自论文、介绍性幻灯片,要么是参考这些图片制作的。
概述。
对图像的审美评价不仅取决于图像或主体的客观属性,而且还取决于观看者的主观属性。到目前为止,已经提出了几个关于个人审美评价的数据集,但它们的注释都很有限。在这项研究中,使用总共31220张图像创建了一个具有丰富属性的个性化图像美学数据库(PARA)。
对所获数据的分析表明,主观属性数据(如情感反应等标签)反映在审美评价中。我们还利用主观信息来训练一个针对个人的图像审美评价模型,并研究了图像的客观属性和观看者的主观属性对审美评价的影响。
介绍
图像美学评估(IAA)是一个基于计算机的照片美学价值评估框架,由两部分组成:通用图像美学评估(GIAA),预测通用美学价值;个性化图像美学评估(PIAA),预测针对个人的美学价值。有两类:通用图像美学评估(GIAA)和个性化图像美学评估(PIAA)。本研究涉及的是后者。
此前,FLICKR-AES和AADB等数据集已被提出用于个体的审美评价,但它们存在着注释多样性有限的问题。本研究构建了一个新的数据集来解决这个问题。
这三个贡献点如下
构建了一个关于个人主观审美评价的全面而庞大的数据集。共使用了31220张图片,该数据集不仅包括图片的客观属性,还包括与观看者的主观反应有关的项目(如内容偏好、做出决定的难度等)。
对注释数据的分析表明,上述与主观反应有关的项目在审美评价中得到了很好的体现。
使用上述项目的主观反应的数据也提高了美学评价预测模型的性能。
如何创建一个数据集
在收集图像(例如来自知识共享许可)并对图像场景进行注释后,为了保持内容的多样性,我们对28000张图像进行抽样。然后,我们从现有的美学评价数据集中增加了大约3000张图片,以平衡美学分数的分布。使用的十种图像场景是肖像、动物、植物、风景、建筑、静物、夜景、食物、室内和其他。对于这样得到的图像,要求受试者对图像的各种属性进行标注。
除了对图像的客观属性,如亮度、颜色、构图和所反映的内容(内容)进行标注外,还要求参与者对主观属性进行标注。主观属性的标签是:感受到的情绪(8种类型:娱乐、兴奋、满足、敬畏、厌恶、悲伤、恐惧、中性),审美评价的判断难度,对所展示的内容(内容)的偏好,以及对所展示的内容(内容)的喜欢。觉得倾向于在社交媒体上分享。
我们还获得了受试者的个人信息,如年龄、性别、教育背景、个性特征以及艺术和摄影的经验。对于人格特征,我们使用了在心理学背景下经常使用的大五人格特征。具体来说,它指的是五个指标:开放性(O)、自觉性(C)、外向性(E)、合意性(A)和神经质(N)。
除此以外,还要求受试者对图像的美学评价得分和图像质量分别以1至5分的标准进行评分。
数据分析
对收集到的总共31220张图片的注释结果进行了分析。
每个属性的分布
所研究的审美评价的每个属性的分布大致相似,但仍有细微的差别。这表明每个属性都是相互关联的,但作为一个独立的属性也有有用的信息。
审美评价分数的分布。
对于每个范围的审美评价分数值,显示了各受试者之间的分数分散度。审美评价得分越高,方差越小,表明个体之间在审美评价方面存在共性,即认为什么是美。另一方面,审美评价得分低的类别有很大的方差,表明需要考虑到个体差异。
每个属性的美学评价分数和皮尔逊相关系数。
该表显示,美学评价得分和图像质量得分之间有很高的相关性。对图片(内容)的偏好和人们是否觉得倾向于在社交媒体上分享它之间似乎也有很高的关联性。这表明,人们更倾向于分享他们觉得自己喜欢的照片。另一方面,每个属性之间的相关性在0.5左右,表明有共性也有差异。
受试者的个性特征和每个属性与审美评价分数的相关性。
该图显示了哪些属性与具有不同性格特征的受试者的审美评价得分高度相关。它显示,具有强烈神经质倾向的被试者N的反应与其他被试者相比非常不同。这表明,具有强烈N特征的人倾向于对外部刺激作出过度反应,并且比其他人有更强烈的情绪反应。它还表明,具有强烈的外向性E特征的受试者在确定他们的审美评价时,倾向于更关注他们所看到的东西(内容)。
情绪和审美评价分数之间的关系。
八种情绪--娱乐、兴奋、满足、敬畏、厌恶、悲伤、恐惧和中性--被分为三组:积极(娱乐、兴奋、满足)、中性(敬畏中性)和消极(厌恶、悲伤、恐惧)。研究发现,美学评价得分在2.0以下(黑色虚线l1左侧)的图像往往会唤起负面情绪,而美学评价得分在4.0以上(黑色虚线l2右侧)的图像往往会唤起正面情绪。
利用数据集建立预测模型。
最后,为了证明所收集的数据集的有用性,本研究调查了使用主观属性数据是否能提高模型的美学评价预测性能。
模型建立的过程可以大致解释如下:首先,训练一个对许多人都通用的图像美学评估预测模型(GIAA模型),然后利用特定对象的数据进行微调,成为一个个体美学评估预测模型(PIAA模型)。GIAA模型是用来训练GIAA模型的。
在实验中,提议的数据集的特征之一--受试者的个人信息(个性特征、艺术经验、摄影经验)--被使用(有条件的PIAA组),另一个没有(无条件的PIAA组)。
下表显示了预测和正确答案之间的皮尔逊相关系数(PLCC)和斯皮尔曼相关系数(SROCC)的评估结果。
对于每一个有条件和无条件的PIAA组,用于调节的神经网络结构和被试的个人信息的差异对应于垂直列,而对个人数据进行微调的次数(没有微调表示为零)对应于横栏。
结果显示,通过使用个人的具体数据进行微调,可以提高预测个人审美评价的性能。它还表明,通过使用主观属性的信息可以提高性能。
摘要
在这个问题上,我们介绍了一项研究,提出了一个新的数据集,专门用于预测图像的审美评价问题,它是基于个人的审美评价。预测图像的审美评价是一种具有各种可能应用的技术,如图像推荐和自动选择照片。特别是,现在越来越需要个性化的服务,这里介绍的研究是朝着这个目标迈出的重要一步。
与本文相关的类别