不使用阴性样品Self-Supervised Learning! BYOL！

三个要点
✔️ 不需要Negative sample的Self-Supervised Learning
✔️ 能避免Batch size、Data Augmentation的影响
✔️ 关于ImageNet的分类任务等，达成比至今的Contrastive Learning更好的精度

Bootstrap Your Own Latent: A New Approach to Self-Supervised Learning
written by Jean-Bastien Grill, Florian Strub, Florent Altché, Corentin Tallec, Pierre H. Richemond, Elena Buchatskaya, Carl Doersch, Bernardo Avila Pires, Zhaohan Daniel Guo, Mohammad Gheshlaghi Azar, Bilal Piot, Koray Kavukcuoglu, Rémi Munos, Michal Valko
(Submitted on 13 Jun 2020)
Comments: Published by arXiv
Subjects: Machine Learning (cs.LG); Computer Vision and Pattern Recognition (cs.CV); Machine Learning (stat.ML)

Code Google Colab

介绍

DeepMind提出了一种新的自监督学习方法Bootstrap Your Own Latent(BYOL).自监督学习是无监督学习的一种，它是一种标在这种类型的学习中，教师是由输入数据本身创建的，而不使用自我监督学习。例如，自监督学习可以通过隐藏一部分图像数据，并对未隐藏的部分图像数据作为输入进行预测，从而学习图像的表示。

在传统的著名模型如SimCLR和MoCO中，数据上的Augmentation称为Anchor，同一数据上的另一个Augmentation称为Positive sample，而另一个图像上的Augmentation则称为他们通过将锚的预测靠近正样本的预测，远离Neagtie样本的预测，来学习负样本的表示。相比之下，本文采用不使用阴性样品的方法。

山田