可视化大脑老化程度！使用两幅核磁共振成像图像的自监督学习方法。

医疗 19/09/2023

三个要点
✔️ 提出了一种可用于分析长期核磁共振成像的机器学习模型
✔️2 通过将两对核磁共振成像图像作为输入，可以在大量训练样本上进行训练
✔️ 通过引入 LNE，成功获取了代表大脑老化程度的特征向量，并获得了理想的可视化效果。

Self-Supervised Longitudinal Neighbourhood Embedding
written by Jiahong Ouyang, Qingyu Zhao, Ehsan Adeli, Edith V Sullivan, Adolf Pfefferbaum, Greg Zaharchuk, Kilian M Pohl
Submitted on 5 Mar 2021 (v1), last revised 17 Jun 2021 (this version, v3)
Comments: Provisional Accepted by Medical Image Computing and Computer Assisted Intervention (MICCAI) 2021
Subjects: Computer Vision and Pattern Recognition (cs.CV)

code：

本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。

介绍

长期磁共振成像通常用于捕捉神经系统疾病和老化导致的大脑结构和功能衰退。

本文旨在利用机器学习分析长期磁共振成像图像，但在数据收集方面存在挑战。其中两个挑战是很难收集大量数据，而且每个受试者的磁共振成像扫描之间的间隔很分散。

因此，本文提出了一种自监督学习方法，可以从少量未对齐的磁共振成像数据中获得更好的特征表征。

通过与其他方法在两个下游任务中的比较，证实了所提方法的有效性，这两个下游任务分别是从核磁共振成像图像中估计阿尔茨海默病的年龄和进展程度。这表明所提出的方法能更好地提取特征。我们还对特征进行了可视化处理，并确认已经获得了代表大脑退化的特征（向量）。

建议方法

拟议方法的整体模型如下所示。

这种模式有两个主要特点。

首先，该模型是一个编码器-解码器结构，输入和输出为两幅核磁共振成像图像。

其次是学习从两幅核磁共振图像中提取的特征向量得到的轨迹向量。

下文将逐一介绍这些功能。

(i) 配对训练策略

建议的模型使用两幅核磁共振成像图像进行训练。通过输入两对核磁共振成像图像，而不是一次性输入每个受试者的一系列核磁共振成像图像，可以大大增加训练样本。

两个 MRI 图像（^xt，^xs）_[1]通过编码器（F）分别转换为潜在表示（^zt，^zs）_[2]。在此获得的潜在表征向量之间的差值（Δz(t,s) = (^zs-zt) / Δt(t,s)）_[3]代表单位时间内大脑的变化。

解码器（H）分别使用潜在表示（^zt、^zs）来重建输入图像（^x~s、^x~t），学习重建后的图像更接近输入图像。

(ii) 纵向邻里嵌入（LNE）

本文介绍了拟议方法模型的第二个特点，即轨迹向量的学习，即潜在表示向量之间的差异。基于相似的磁共振成像图像会导致其轨迹向量发生相似变化的假设，学习是按照这一假设进行的。换句话说，它学习如何平滑轨迹向量空间。这是受社会池_[4]的启发，社会池是一种用于行人轨迹预测任务的平滑方法。

然而，社会汇集针对的是二维空间，而本文针对的是潜在空间，因此无法应用。因此，本文建议使用有效的图形来定义邻里关系。

每个学习步骤（epoch）都会以迷你批次_[5]构建一个有效图。有效图中每个节点的位置为 ^zt，节点值为 Δz。因此，节点之间（节点 i 和 j）的距离可以用欧氏距离表示，即 _Pij = ^|zti-ztj|2。让邻域 (_Ni) 从最近的节点 _nnbth到节点 i，并定义邻接矩阵 A 如下。

邻接矩阵 A 表示节点之间的关系。

不考虑与节点 i 相邻的节点（_j∉Ni），因此（在邻接矩阵 A 中）取 0。另一方面，与节点 i 相邻的节点（_j∈Ni）将用转换为相似度的归一化距离来填充。

邻域矩阵 A 用于获得邻域向量的集合向量 Δh（LNE；纵向邻域嵌入）。具体来说，可以使用以下公式计算，该公式是根据图扩散过程推导出来的。

D 是图 G 的外边度矩阵，是一个对角矩阵，表示每个节点的外边权重之和。

尽管到目前为止我们一直在遵循复杂的数学公式，但一个简单的解释是，对于每个轨迹向量 (_zti)，定义了一组邻域向量 (_Ni)，并确定了考虑这些向量时 Δz 可能面对的方向 Δh（通过汇集）。

得出的 Δh 用于修改 Δz，以促进轨迹向量空间的平滑化。

(iii) 目标函数

最后，介绍了所提方法模型的损失函数，并总结了学习方法。

损失函数如下所示。

第一项和第二项表示通过编码器和解码器获得的输入图像的重建损失（①）。

第三项用于使轨迹向量 Δz 的方向更接近通过汇集邻近轨迹向量(②)得到的 Δh，可视为一种正则化。

试验

本文在两个下游任务中测试了所提方法的有效性：第一个任务是根据健康受试者的核磁共振成像图像估算年龄（健康老化），第二个任务是估算阿尔茨海默病的进展（ADBI）。ADBI包括：正常对照组（Normal Control）、老年痴呆症（AD）、静态轻度认知功能障碍（sMCI）和进行性轻度认知功能障碍（pMCI）。AD、sMCI 或 pMCI，并作为二元分类任务进行验证。

下游任务的准确性比较

在年龄估计任务（健康老龄化）和阿尔茨海默病进展程度估计任务（BACC；平衡准确性）中，使用判定系数（R2）进行准确性比较。

建议方法与其他方法的比较结果如下。

冻结表示在训练下游任务时不再训练特征提取部分（建议方法中的编码器部分），而微调表示再次训练特征提取部分。

可以看出，所提出的方法在两个数据集上都达到了最高的准确率。从这一结果可以说，所提出的方法模型能够从核磁共振图像中提取出更好的特征�

可视化（数据、结果等）

下图展示了在 "健康老龄化 "任务中通过 AE（自动编码器）和拟议方法获得的轨迹向量。然而，由于维度较高，所获得的轨迹向量会被 PCA 压缩。

可以看出，在 AE方法中（左图），轨迹向量的方向各不相同，而在拟议方法中（右图），轨迹向量大多是对齐的。这一结果表明，LNE 能够形成一个平滑的轨迹向量空间。

还可以观察到，年龄越大（矢量颜色越浅），轨迹矢量往往越长。这表明，年龄越大，衰老速度越快。

下一节将探讨 ADBI 任务中的可视化问题。

(a)和(b)是建议方法和健康老龄化任务的轨迹向量的可视化，(a)中按年龄用颜色编码，(b)中按代表阿尔茨海默病进展程度的类别用颜色编码。(c) 显示了代表阿尔茨海默病进展程度的每个类别的轨迹向量的计算长度。

观察 (a) 和 (b)，我们可以发现轨迹向量与 "健康老龄化 "任务中的轨迹向量方向基本一致。

(a) 中的轨迹向量随着年龄的增长而变长的趋势（颜色较浅的向量）同样得到了证实。

摘要

本文介绍了一种使用两幅核磁共振成像图像的自监督方法。

由于缺乏数据是一个常见的挑战（尤其是在医疗保健领域），我认为这种方法在很多情况下都很有用。

我还认为，通过轨迹向量的可视化分析令人信服，是有助于提高医疗领域人工智能可靠性的良好范例之一。

补贴

[1]_xt总是被约束为在时间上先于_xs
[2]_zt和_zs都是512维的
[3]其中Δt(t, s)是扫描的两张MRI图像之间的时间差
[4]社会池化在以下论文中有详细描述
- SocialLSTM：拥挤空间中的人类轨迹预测
・社交GAN：使用生成对抗网络的社会可接受轨迹
生成对抗网络
[5] 本文中的批量大小为 64