U-Net：用于生物医学图像分割的卷积网络

三个要点
✔️ 成功的深度网络训练需要成千上万的注释训练样本。
✔️ 该架构由用于捕捉上下文的精简路径和用于精确定位的对称扩展路径组成。
✔️ 在电子显微镜堆栈神经结构分割的 ISBI 挑战赛中，它的表现优于之前的最佳方法（滑动窗口卷积网络）。

U-Net: Convolutional Networks for Biomedical Image Segmentation
written by Olaf Ronneberger, Philipp Fischer, Thomas Brox
(Submitted on 18 May 2015)
Comments: conditionally accepted at MICCAI 2015
Subjects: Computer Vision and Pattern Recognition (cs.CV)

code：  

本文中使用的图片来自论文、介绍性幻灯片或参考这些图片制作而成。

概述

本文介绍了数据扩展，以便在深度神经网络训练中高效利用数据。所提出的架构包括捕捉图像上下文的还原路径和实现精确定位的对称扩展路径。该网络仅通过几幅图像进行了训练，在分割电子显微镜堆栈中的神经结构方面显示出比以往方法更好的性能。在透射光显微镜图像上训练的同一网络还赢得了 ISBI 细胞追踪挑战赛，并实现了快速处理。

导言

本文重点介绍深度卷积网络的发展及其在生物医学图像处理中面临的挑战。卷积网络以前只取得了有限的成功，而现在凭借大量的训练数据和复杂的网络结构，在视觉识别任务中表现出色。作者提出了一种专门用于生物医学分割任务的 "全卷积网络"，即使只有少量训练图像也能达到很高的精度。该架构扩展了通常的收缩网络，并引入了上采样算子来执行语义分割。最终的网络是对称的 U 型网络，能够在逐个像素的基础上进行精确分割，同时保留较高的上下文信息。

它还描述了平铺策略的重要性，这种策略可以镜像输入图像并推断缺失的上下文，从而预测图像边界区域的像素。此外，由于训练数据有限，还应用了弹性变形来为网络引入数据扩展，使其能够学习对变形的不变性。这样，网络就能应对生物医学分割中的实际变形。此外，重点是分离同一类别中的接触对象。为此，我们提出了使用加权损失的方法，即在损失函数中，接触细胞之间的分离背景标签获得较大权重。

网络架构

本节介绍一种用于分割的网络结构。该网络由还原路径（左侧）和扩展路径（右侧）组成，并结合了卷积和池化。使用上采样和卷积相结合的方法对特征进行增强，最终生成分割图。该网络共有 23 个卷积层，最后一层使用 1x1 卷积来映射类别。为了实现分割图的无缝平铺，选择输入平铺的大小非常重要，这样才能将 2x2 的最大池化操作应用于大小相同的层。

培训

本文采用 Caffe 随机梯度下降法来训练输入图像和相应的分割图。由于卷积没有填充，因此输出图像的边界宽度小于输入图像；为了最大限度地利用 GPU 内存并减少开销，使用了大块输入图像和高动量（0.99）。这确保了有效的学习和训练。

能量函数是通过逐个像素的软最大函数计算最终特征图，并结合交叉熵损失函数。 软最大函数为

其定义如下其中，_ak(x) 表示像素位置 x ∈Ω 和 Ω ⊂ Z ²处特征通道 k 的激活。 K 是类别数，_pk(x) 是近似最大值函数。 也就是说，对于具有最大激活 _ak(x)的 k，_pk(x)≈1；对于所有其他 k，_pk(x)≈0。 然后，交叉熵用以下方法对_pl(x) 在每个位置上偏离 1 的程度进行惩罚

其中，l : Ω → {1, ... , K} 是每个像素的真实标签，w : Ω → R 是在训练中引入的权重图。 K} 是每个像素的真实标签，而 w : Ω → R 是一个权重图，用于提高某些像素在训练中的重要性。

每个地面实况分割的权重图都是预先计算好的，以补偿训练数据集中来自特定类别的像素的不同频率，并迫使网络学习在接触单元之间引入的小的分离边界（见图 3c）。

分隔边界是通过形态学运算计算得出的。 权重图的计算方法如下。

这里介绍的方法利用权重图和单元边界距离来平衡类频率，并为深度网络正确初始化权重。尤其重要的是，要设置初始权重，使网络中的每个特征图都具有近似单位方差，而在所提出的架构中，初始权重取自标准偏差为√2/N 的高斯分布。这样可以确保网络的每个部分都能做出同等贡献，并防止过度激活。

数据扩展

在缺乏训练样本的情况下，数据扩展对于向网络传授所需的特性非常重要。对于显微图像，主要要求是移位和旋转不变性、对变形和灰度值变化的鲁棒性。尤其是在注释图像较少的情况下，随机弹性变形是有效训练分割网络的一个重要概念。随机位移向量用于生成平滑的变形，而剔除层则用于执行进一步的数据扩展。

试验

u-net完成了三个不同的分割任务。第一项任务是使用 ISBI 2012 EM Segmentation Challenge 数据集对电子显微镜记录中的神经结构进行分割。

u-net 在不同的分割任务中都显示出卓越的效果。在电子显微镜图像的神经结构分割中，它的 Warping Error 为 0.0003529，Land Error 为 0.0382，优于之前的方案。光学显微镜图像的细胞分割也明显优于其他竞争算法，平均 IOU 为 92%。

u-net 还成功地完成了微分干涉对比（DIC）显微镜记录的 HeLa 细胞的分割任务，在 DIC-HeLa 数据集上的平均 IOU 达到 77.5%，明显优于其他同类算法。

结论

u-net 架构在不同的生物医学分割任务中表现出色。利用弹性变形进行数据增强，只需几张注释图像就能进行有效训练，使用英伟达泰坦 GPU 只需 10 个小时即可完成训练。我们还提供了基于 Caffe 的完整实现和预训练网络，并表示 u-net 可轻松应用于更多任务。

在生物医学图像分析和分割方面，U-Net 具有广泛的应用潜力。它的便利性和高度灵活性可为医学图像处理带来创新发展。

• 
• 
• 

与本文相关的类别

• 论文
• 计算机视觉
• 模式识别