你需要知道的关于计算机视觉中变压器的一切!第3/5节(分割、图像生成、低级视觉任务)

Transformer 26/01/2021

3个要点
✔️解释Transformer在计算机视觉中的应用。
✔️讲解分割、图像生成和低级视觉任务的研究实例。
✔️共37款，本文介绍了9款。

Transformers in Vision: A Survey
written by Salman Khan, Muzammal Naseer, Munawar Hayat, Syed Waqas Zamir, Fahad Shahbaz Khan, Mubarak Shah
(Submitted on 4 Jan 2021)
Comments: 24 pages
Subjects: Computer Vision and Pattern Recognition (cs.CV)

首先

Transformer不仅在自然语言处理方面表现出了很高的性能，在其他很多领域也表现出了很高的性能。其中，变压器在处理视觉信息的计算机视觉领域的应用研究已经非常普及。

鉴于这种需求，我们将对计算机视觉中的Transformer进行非常广泛和详细的描述。

本文介绍了Transformer在分割、图像生成和低级视觉任务中的应用实例。

介绍了两个用于分割的模型，四个用于图像生成的模型和三个用于低级视觉任务的模型。

关于其他任务的研究实例，请参见第2、4、5部分，关于计算机视觉中变压器的一般描述，请参见第1部分。

总体结构（目录）

1. about Transformer in Computer Vision (Part1)

2. A Concrete Example of Transformer in Computer Vision(Part2～5)
2.1 Transformers for Image Recognition(Part2)
2.2 Transformers for Object Detection(Part2)
2.3 Transformers for Segmentation
・Axial-attention for Panoptic Segmentation
・CMSA(Cross-modal Self-Attention)
2.4 Transformers for Image Generation
・iGPT(Image GPT)
・Image Transformer
・High-resolution Image Synthesis
・SceneFormer
2.5 Transformers for Low-level Vision
・TTSR(Texture Transformer Network for Image Super-Resolution)
・IPT(Image Processing Transformer)
・ColTran(Colorization Transformer)
2.6 Transformers for Multi-modal Tasks(Part4)
2.7 Video Understanding(Part5)
2.8 Transformers in Low-shot Learning(Part5)
2.9 Transformers for Clustering(Part5)
2.10 Transformers for 3D Analysis(Part5)