IBOT旨在通过自我蒸馏实现CV BERT的目标

Transformer 05/01/2022

三个要点
✔️ 展示ViT的图像标记器的重要性
✔️ 学习ViT的图像标记器，通过自我蒸馏实现端到端屏蔽图像建模。
✔️ 在ImageNet-1K上取得SOTA，与MAE竞争图像识别领域的BERT地位

iBOT: Image BERT Pre-Training with Online Tokenizer
written by Jinghao Zhou, Chen Wei, Huiyu Wang, Wei Shen, Cihang Xie, Alan Yuille, Tao Kong
(Submitted on 15 Nov 2021 (v1), last revised 9 Dec 2021 (this version, v2))
Comments: Published on arxiv.
Subjects: Computer Vision and Pattern Recognition (cs.CV)

code：

本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。

简介

变换器（BERT）在自然语言处理中的巨大成功，加速了将变换器引入图像识别的研究，包括视觉变换器。特别是，受掩码语言建模（MLM）的启发，这是BERT、MAE（最终在图像识别中的BERT？关于MAE）最近已经出版。

在MLM中，标记器是一种非常重要的技术，用于将单词投射到一个有意义的潜在空间。同样，在MIM中，有必要研究需要什么样的标记器来将图像斑块投射到一个有意义的潜在空间。特别是，将连续和冗余的图像像素转化为具有高维语义的标记比对有意义的词进行建模更为困难。

这篇文章是关于iBOT的，它在MAE之后四天发布，解决了MIM Tokenizer的困难。

以前类似的研究BEiT使用预先训练好的dVAE作为Tokenzier，而iBOT提出了一个在线Tokenzier，使用自蒸馏框架来实现端到端的MIM。关于该模型的更多细节将在后面介绍，所以我们先从结果开始，在图1中快速呈现。ImageNet-Top1的成功率高于DINO的成功率，显示出惊人的干净的注意力图。

iBOT

关于遮蔽图像建模

MIM对图像Token序列，以r的比例采样随机掩码。这里的N是指Tokens的数量。被屏蔽的，被替换成，得到图像Token序列。MIM的目标函数是从被屏蔽的图像中恢复原始图像。MIM的目标函数是从被屏蔽的Token中恢复原始图像，在BEiT中定义为公式（1）。

是将输入转化为K维概率分布的模型，和是离散的VAE和要训练的模型的参数。这里，离散VAE将图像斑块转化为K个类别。

关于自我蒸馏

不同的，会包含不同的先验知识。例如，BEiT使用预先训练好的离散VAE，而iBOT则使用自我蒸馏的。这意味着模型的输出被作为教师数据来训练模型本身。在这里，我们只是准备了两个具有相同网络，但参数不同的模型，来进行自我蒸馏。具体来说，两个数据扩展产生的输入图像到。我们取预测损失函数如公式（2）所示，每个预测为，。

，可以相互预测，因为它们是由相同的输入图像。在这里，学生和教师网络具有相同的结构，不同的参数和。教师网络的参数是学生网络的参数的指数移动平均值。

关于iBOT的架构

图3显示了iBOT的概况。iBOT通过自我蒸馏来充当一个标记器。换句话说，iBOT通过自我蒸馏来学习MIM。具体来说，通过数据扩展从图像x中获得的u和v，被输入到教师和学生网络。每个网络都有一个骨干和一个补丁预测头，但教师网络没有使用梯度下降进行更新。相反，它表明用指数移动平均数（EMA）更新学生网络的参数可以将图像转化为一个连续的特征分布。

iBOT有两个目标函数。第一个是方程(2)中的通过自我蒸馏的预测损失函数：它预测了交叉视图中的分类令牌。第二种情况如方程（3）所示。使用教师网络的输出作为标签，学生网络恢复被掩盖的斑块。

通过后来的实验，我们表明，当参数在分类令牌和补丁恢复头之间共享时，准确性会更好，就像在。研究还表明，iBOT以softmax后的令牌分布作为监督信号，而不是以单次的令牌id作为监督信号，其准确性更高。

实验

在ImageNet-1K上的实验结果

我们用五个指标来评估iBOT所学到的表达的质量。

表1显示了k-NN和线性探测的结果。k-NN显示的是固定Backbone得到的特征向量应用于k-nearest分类时的准确性。线性探测显示的是固定Backbone并用单层线性分类器进行分类时的准确性。当主干是ViT-S/16或ViT-B/16时，k-NN和线性探测都优于DINO（+~1.3%）。此外，如最后一行所示，在ImageNet-22K数据上进行预训练后，线性探测指数达到81.6%。

表2是仅用ImageNet-1K进行微调的结果，表3是用ImageNet-22K进行预训练的结果。从表2来看，当主干为ViT-S/16时，我们得到的准确率为82.3%，当主干为ViT-B/16时，准确率为83.8%，高于MAE的准确率83.6%。表3还显示，对ImageNet-22K的预训练有助于提高准确率。