CNN真的喜欢质感吗？

三个要点
✔️ 发现纹理偏差
✔️ 基本上，CNN都有质地偏向。
✔️ 事实也证明，我们不是没有形状信息。

The Origins and Prevalence of Texture Bias in Convolutional Neural Networks
written by Katherine L. Hermann, Ting Chen, Simon Kornblith
(Submitted on 20 Nov 2019 (v1), last revised 29 Jun 2020 (this version, v2))
Comments: Accepted at arXiv
Subjects: Computer Vision and Pattern Recognition (cs.CV); Machine Learning (cs.LG); Neurons and Cognition (q-bio.NC)
Paper  Official Code COMM Code

介绍

卷积神经网络(CNN)在图像分类和物体检测等各个领域的性能一直处于领先地位。它们的性能已经非常高，在研究领域已经能够超越人类。有趣的是，尽管CNN是为了模仿人类的视觉过程而发明的，但它与人类的视觉有很多不同之处。一个典型的例子是，在分类问题上，人类更喜欢形状信息，而CNN更喜欢纹理信息。下图是猫的形状信息与大象的纹理信息。人类更喜欢形状信息，判断为猫，而CNN更喜欢纹理信息，判断为大象。 
，另外，"纹理偏向"指的是对纹理的偏爱而不是对形状的偏爱，"形状偏向"指的是对形状的偏爱而不是对纹理的偏爱。

也有人说，这些质地偏差是造成对立面例子问题现象的原因。所以我们之所以容易受到小的扰动，是因为我们更喜欢质地信息。也可以说，对纹理的偏好表明了一种归纳性偏差（机器学习方法采用的泛化假设与现实世界条件不同步）。因为即使是对于形状信息很重要的任务，CNN也更喜欢纹理，所以存在归纳偏差并不奇怪。

这里的第一个问题是，人类是否喜欢形状信息？这在心理学上已经有很多研究。事实证明，人类往往会根据形状而不是质地来做决定。请看下图。大多数人都会把左边判断为J，右边判断为K。但从质地上看，左边是N，右边是E，在CNN方面，倾向于使用后者。这就是我们和人类之间著名的区别。

我在这里要介绍的论文探讨了这种纹理偏差的影响，以及它如何受到数据增强、训练程序和模型的影响。

总之，造成质地偏差的因素很多。其中最重要的因素是数据本身。据说，数据本身就是造成质地偏差的主要原因。

本文的贡献如下。(现在很流行人工智能论文把自己的贡献放在intro上。)

• 数据增强，如颜色失真和噪声，被发现可以减少纹理偏差，但随机裁剪被发现会增加纹理偏差。
• 调查自监督学习与监督学习的纹理偏差，有的减少，有的增加纹理偏差。
• 在ImageNet上表现良好的模型具有较低的纹理偏差
• 学习目标、模式和发现数据预处理和超参数选择对模型的纹理偏差有明显影响
• 为模仿人类而设计的模型和用自我注意机制取代卷积的模型，显示出与普通CNN不同的纹理偏差
• 我们还发现CNN具有形状信息，并发现形状信息在CNN的架构中是如何缺失的。

• 
• 
• 

与本文相关的类别

• 图片识别