用于遥感的自我监督的材料纹理表示学习。

自监督学习 27/07/2022

三个要点
✔️ 提出了一种新型的基于材料纹理的自监督学习方法，以获得遥感数据下游任务所需的具有高感应偏差的特征。
✔️ 用这种方法预先训练的模型在监督和无监督的变化检测、分割和土地覆盖分类实验中记录了SOTA。
✔️ 提供了一个多时间的空间调整、大气处理的遥感数据集，在一个不变的领域，用于自我监督学习。

Self-Supervised Material and Texture Representation Learning for Remote Sensing Tasks
written by Peri Akiva, Matthew Purri, Matthew Leotta
(Submitted on 3 Dec 2021)
Comments: Published on arxiv.
Subjects: Computer Vision and Pattern Recognition (cs.CV); Artificial Intelligence (cs.AI); Image and Video Processing (eess.IV)

code：

本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。

介绍

自我监督学习的目的是在没有注释数据的情况下学习图像的表现特征。在下游任务中，网络的权重可以初始化为通过自我监督学习获得的权重，以实现更快的收敛和更高的性能。然而，自我监督学习需要很高的归纳偏差。在本文中，我们提出了一种基于材料纹理的自我监督学习，称为MATTER（MATerial and TExture Representation Learning），其中MATTER使用多个在时间上对空间调整的遥感数据进行训练。

技术

MATTER的示意图如下所示。给出在一个不变区域的锚定图像$x_a\in {\cal R}^{B\times H \times W}$，在同一区域的正图像$x_p\in {\cal R}^{B\times H \times W}$和负图像$x_n\in {calR}^{B\times H \times W}$。其中$B,H,W$是输入图像的带数、高度和宽度。所有图像都被平铺成大小为$h/times w$的P个斑块，分别表示为$c_a, c_p, c_n$。为了学习以材料纹理为中心的特征，我们提出了一个纹理细化网络（TeRN）和一个补丁式的表面残留编码器。增加，而表面残差编码器是对先前的工作Deep-TEN的补丁式改编，学习基于表面的残差表示量。该网络通过最小化正片对$c_a, c_p$的特征距离和最大化负片对$c_a, c_n$的特征距离进行学习。这里的特征是学习到的残余表示量。噪声-对比度损失被用作目标函数。

$${cal/L}_{NCE}=-{mathbb E}_C\left[{log}\frac{exp (f(c_a)\cdot (f(c_p))}{sum_{c_j\in C}\exp (f(c_a)\cdot f(c_j))}\right]$$

其中$f(c_j)$是补丁$c_j$的特征，$C$是正负补丁集。

纹理细化网络

TeRN细化了纹理特征，否则这些特征将是低层次的，例如在卫星图像中。它采用了最近提出的像素自适应卷积层，给定一个以$(i,j)$位置为中心的内核$k^{i,j}$，计算像素$x_{i.j}$和邻接点${cal N}(i,j)$之间的余弦相似度，并将其除以邻接点中所有像素的标准差$sigma_{{j}。cal N}(i,j)}$ 然后除以${cal N}(i,j)}$ 的平方。

$$k^{i,j}=-frac{1}{sigma^2_{{cal/N}(i,j)}}frac{x_{i,j}\cdot x_{p,q}}{||x_{i,j}||_2\cdot ||x_{p,q}||_2}, \forall p,q\ in {cal\}.N}(i,j)$$

上述公式表示与中心像素的相似性和内核中的梯度强度。纹理代表结构的空间分布，因此与梯度强度直接相关。单个内核层为$K$，构建了一个由$L$层组成的细化网络。

表面残余同义词学习。

该方法涉及补丁式聚类。它学习小的补丁残差，并与相应的多时间补丁残差执行一致性。给定一个特征向量$z_i^{1/times D}$和$Upsilon$学习的聚类中心$Q={q_0,q_1,\cdots,q_{Upsilon-1}}$，对于某些作物$c_i$，$z_i$和聚类中心$q_v$之间的残差为$。r_{i,v}^{1times D}=z_i-q_v$。通过对所有集群重复这一步骤，并采取加权平均的方式，得到最终的残差向量如下。

$$r_i = \frac{1}{\Upsilon}\sum_{v=0}^{\Upsilon-1}\theta_{i,v}r_{i,v}$$

其中$theta_v$是训练过的聚类权重。这可以用来考虑到集群之间的亲和力。

实验

先前的学习

在自我监督学习中，使用了非城市化地区经过正交校正、大气处理的Sentinel-2数据。最终共收集了1217 km^2$的27$面积，得到了14857$1096^times 1096$的瓦片。

变化检测

Onera卫星变化检测（OSCD）被用作数据集。我们还评估了两种不同的模型：一种是只有预训练的自我监督学习模型，另一种是随后用监督数据进行微调的监督模型。变化点被定义为前后图像的残余特征之间的欧氏距离超过一个阈值的情况。结果显示在下面的表格中。F1得分记录了自学和监督模式的SOTA。

土地沉降分类

作为一个数据集，我们使用了具有19类土地覆盖标签的BigEarthNet数据集。结果显示在下面的表格中。该方法记录了一个平均精度SOTA。

分割

用于建筑物分割的SpaceNet被用作数据集。结果显示在下面的表格中。该方法记录了一个平均IoU的SOTA。

结果。

通过引入这种方法，我们对下游任务实现了更快的收敛和更高的精度，并发现纹理和材料是重要的特征。为了定性地评估材料和纹理是否被代表，我们还比较了视觉字图（像素级聚类）。结果如下图所示：在Textons中，像素值被评估，因此对纹理的微小变化很敏感，导致同一类别的多个聚类；在Patch-wise Backbone中，低层次特征的信息被丢失，多个类别被聚类为单一的集群。另一方面，这种方法的分类非常接近于输入图像。