关于分布外检测方法和允许模型识别 "我不知道这个 "的新基准的提议。
三个要点
✔️ 分布外（OoD，out-of-distribution）检测是指识别不在训练数据集中的数据。
✔️ 能够对有限的类别进行分类的好的模型在OOD检测中表现良好
✔️ 通过设计损失函数成功检测数据的新颖性
Open-Set Recognition: a Good Closed-Set Classifier is All You Need?
written by Sagar Vaze, Kai Han, Andrea Vedaldi, Andrew Zisserman
(Submitted on 12 Oct 2021 (v1), last revised 13 Apr 2022 (this version, v2)])
Comments: ICLR 2022
Subjects: Computer Vision and Pattern Recognition (cs.CV); Machine Learning (cs.LG)
code：
本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。
摘要
在现实世界中，有无数的物体，如动物和物体，所以分类器可以训练的类只是现实中的一小部分，但分类器试图将样本装入已知的类，即使它们不在训练的类中。这意味着无论模型有多好，分类本身都会出错，所以本文介绍了一种方法，让分类器本身识别 "这不是训练过的数据集的一部分"。这就是本文介绍一种方法的原因，该方法允许分类器将自己识别为 "不包括在训练的数据集中"。
本文提出了一个名为 "语义转移基准"（SSB）的指标，以检测样本的语义（语义）新颖性。
介绍。
深度学习在分类类数有限的封闭集上的图像识别任务中取得了良好的效果；下一个挑战是开放集上的图像识别（开放集识别，OSR），即该模型需要确定某些数据是否包含在训练数据集中。
OSR问题是由Scheirer等人正式提出的，此后，许多杰出的研究人员一直在研究这个问题。评估OSR问题的基线是在一个封闭的数据集上训练的模型。该模型使用损失函数的交叉熵误差进行训练，输出是一个softmax函数；此后，这种方法被简单称为基线，或最大softmax概率（最大应该指出的是，现有的关于使用MNIST和TinyImageNet的OSR的报告已经大大超过了基线。该基线被称为
预计在封闭数据集上表现良好的模型在OSR中会有较差的OSR表现，因为它们会试图过度地适应现有的类别，但有趣的是，结果是结果显示，在封闭集和开放集的表现之间存在着一种相关性。
相关研究
Scheirer等人提出了OSR问题；Bendale和Boult提出了基于极值理论（EVT）的OpenMax方法；Neal等人提出了OSR问题。使用生成对抗网络（GANs）的生成性图像对OSR进行了研究，后来导致了OSR数据集的建立。
OSR与分布外检测（OoD检测）、新颖性检测、异常检测密切相关。本文提出了一个新的基准，其性质与OoD检测相似。本文通过提出一个新的基准来区分OSR和OoD检测，并提出了该领域的一个创新。
在封闭的和开放的套装中的表现相关联。
人们认为，一个在类数有限的数据集（以下简称 "封闭集"）上表现良好的分类器，在类数无限的数据集（以下简称 "开放集"）上表现不佳，这是矛盾的。然而，在本文中，我们表明，在封闭集上的表现与在开放集上的表现相关。集与开放集的表现相关。
\begin{equation}\mathcal{D}_{text {train }==final{left{left(\mathbf{x}_{i}, y_{i}\right)\right}_{i=1}^{N} 子集 \mathcal{X} \times\mathcal{C}end{equation}。
让我们首先制定OSR：训练数据D_train包含在输入空间Χ（注意：大写的chi）和已知类数C的乘积中。
$$mathcal{D}_{text {test-closed }=\left\{left(\mathbf{x}_{i}, y_{i}\right)\right\}_{i=1}^{M}\subset\mathcal{X} \times \mathcal{C}$$
验证数据集可以用上述同样的方式表示，这就是封闭集的设置。
$$mathcal{D}_{text {test-open }=\left\{left(\mathbf{x}_{i}, y_{i}\right)\right\}_{i=1}^{M^{prime}} \subset \mathcal{X }\times(\mathcal{C} \cup \mathcal{U}) $$
在一个开放的集合中，对类的数量没有限制，所以元素的数量会因未知类的数量U以及已知类的数量C而增加。
$$p(y /mid /mathbf{x})$$。
对于封闭集，处于该类的概率分布p可以用上述方式表示，但对于开放集，还需要有处于已知类C的概率。
$$p(y\mid `mathbf{x}, y\in `mathcal{C})$$。
$$mathcal{S}(y \in \mathcal{C} mid \mathbf{x})$$
因此，在概率p上附加了一个条件。S是列入已知类别C或不列入的分数。
现在，以上是封闭集的性能（准确度）和开放集的性能（AUROC）之间的关联图。在本文中，VGG16模型（VGG32）的一个较轻版本和现有的数据集（如MNIST、SVHN、CIFAR等）被用于评估；OSR基准包括MSP（基线）、ARPL和ARPL+。彩色的点是五个数据集的平均数。在VGG32的情况下，可以看到这种关联性。
现在我们将数据集固定为ImageNet，并改变模型（每个点都是一个模型），其中Hard是一个有许多未知类的设置，Easy是一个有许多已知类的设置。ViT-Β-16模型是一个异类（性能非常好），但当数据集是共同的，改变模型结构显示出封闭集上的性能和开放集上的性能之间的相关性.
上述结果对于大型数据集来说是类似的。
拟议的新OSR基准：语义转换基准。
目前的OSR基准有两个缺点：数据集很小，"语义类 "的定义很模糊，也就是说，确定什么构成新的未知类的标准很模糊。本文提出了一个新的数据集和评价方法，并将其作为一个基准。
对于基于ImageNet的数据集，语义距离被用来定义未知类别。在这个层次结构中，节点之间的距离被认为是语义距离。ImageNet-1K中的1000个类被用作已知类，ImageNet-21K中的21000个类被用作未知类。这些图像是从ImageNet-21K的21000个类别中随机选择的，并取各个图像与1000个已知类别之间的语义距离之和。较小的语义距离组是困难的，较大的语义距离组是容易的。
上面是一个例子：绿色代表简单，黄色代表中等，红色代表困难，实际游戏中被包围的一对是已知类 红色的一对是密切相关的鸟类。因此难以区分。
新的评价方法：最大对数得分。
如本文开头所述，基线评价方法是最大软性概率（MLP）；相比之下，作者提出了一种新的方法，称为最大对数得分（MLS）。对数是softmax函数的输入，也是输出层之前的输出；事实上，未知类别的对数往往较小，这一点被利用了（注意：softmax函数不是softmax函数）。(注意：通过softmax函数时，输出的总和总是1，因为概率值掩盖了logit的大小）。
以上是与现有研究（如ARPL，OSR的SOTA）的比较，而现有研究通过设计数据扩展来改善封闭数据的性能，只需将评价函数改为MLS即可通过简单地将评价函数改为MLS，发现开放集的性能得到了改善。
结论。
研究发现，封闭数据性能越高，开放数据性能越高，再次重申了提高封闭数据性能的重要性，本文提出了一个新的评价函数MLS。还为OSR提出了一个新的数据集，通过明确语义类别，为未来的研究提供了更准确的基准方法。
与本文相关的类别
