点云x变形金刚!

三个要点：
✔️ 我们提出了一种新的基于变压器的方法来理解3D点云。 
✔️ 设计一个新的基于变压器的架构
✔️ 获得多个三维点云数据集的SOTA。

Point Transformer
written by Hengshuang Zhao, Li Jiang, Jiaya Jia, Philip Torr, Vladlen Koltun
(Submitted on 16 Dec 2020)
Comments: Accepted to arXiv.
Subjects: Computer Vision and Pattern Recognition (cs.CV)
 
comm 

首先

Transformer已经接管了自然语言处理，并迅速推进技术的发展。最近，利用这些自注意力网络的力量来解决计算机视觉问题的尝试是富有成效的。因此，尝试实现变形金刚进行三维点云处理是很直观的。此外，由于三维点云是嵌入在三维空间中的集合，因此自注意力网络对集合的换元和集合的cardinality是不变的，这对三维点云的处理更加有利。基于这些直觉，本文介绍了一种新的用于3D点云处理的Transformer基础。该层扩展为一个点变换器网络，可以在不同的域和任务中设置数据集的新状态。

一些三维点云处理方法

处理二维点最常见的方法是将它们排列在一个矩阵中，每种颜色都有不同的通道，并对它们进行卷积处理对于三维点，有不少方法下面简单介绍三维点云处理的三种主要方法。

1）基于投影的网络

在这种方法中，3D点被投射到多个平面上，并使用2D CNN对每个平面进行进一步处理。最后，将结果进行编译，形成最终的输出。投影平面的选择对最终的输出有很大的影响，在投影过程中会出现信息损失。

2） 基于Voxel的网络

在这种方法中，3D点被转换为体素，并扩展3D CNN进行进一步处理。通常，3D点是非常稀疏的，这种方法会增加计算和内存负荷。解决方案是使用稀疏的CNN，并跳过空的体素。另外，当点被转换为离散的体素时，会出现信息损失。

3）基于点的网络

在这种方法中，3D点云直接使用一个由点式MLP、池化层和采样启发式组成的换元不变网络进行处理。与其他方法不同的是，在不显著增加内存或计算要求的情况下，信息保持不变；点变换器网络就是基于这种方法。

• 
• 
• 

与本文相关的类别

• 论文
• 机器学习
• 深度学习
• 3D
• 图片识别
• Transformer