PCC-GAN：利用基于三维点的上下文聚类 GAN 重建高质量 PET 图像
三个要点
✔️ 从低剂量 PET（LPET）图像重建标准剂量 PET（SPET）图像
✔️提出的 基于三维点的上下文聚类 GAN（"PCC-GAN"）
✔️ PCC-GAN 在 定性和定量方面都优于最先进的重建方法。证明：
Image2Points:A 3D Point-based Context Clusters GAN for High-Quality PET Image Reconstruction
written by Jiaqi Cui, Yan Wang, Lu Wen, Pinxian Zeng, Xi Wu, Jiliu Zhou, Dinggang Shen
(Submitted on 1 Feb 2024)
Comments: Accepted by ICASSP 2024
Subjects: Image and Video Processing (eess.IV); Computer Vision and Pattern Recognition (cs.CV); Machine Learning (cs.LG)
code：
本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。
介绍
近年来，人们提出了许多从低剂量正电子发射计算机断层成像（LPET）图像重建标准剂量正电子发射计算机断层成像（SPET）图像的方法，以便以最小的辐射暴露获得高质量的正电子发射计算机断层成像（PET）图像。然而，这些方法在很大程度上依赖于基于体素的表示，这就带来了挑战，因为它们无法充分考虑到确切的结构（如每个器官/组织的大小和边界）或精细的背景（如不同器官/组织之间的关系和相互作用）。
因此，本文提出了一种基于三维点的上下文聚类 GAN，即PCC-GAN，用于从 LPET 图像重建高质量的 SPET 图像。这种 PCC-GAN 采用基于点的表示方法，可以明确保留三维 PET 图像的复杂结构，从而实现更清晰的重建。此外，上下文聚类可用于探索点之间的上下文关系，从而减轻重建图像中细小结构的模糊性。
最后，在临床和模型数据集上进行的实验证明，本文提出的 PCC-GAN 方法在质量和数量上都优于最先进的重建方法。
PCC-GAN
如图 1 所示，PCC-GAN 的整体结构包括一个分层生成器（生成器）和一个基于点的判别器（判别器）。
生成器首先通过点构造将LPET 图像转换成点，并分别使用四个上下文集群（CoC）块和四个转置上下文集群（TCoC）块生成 LPET 和 SPET 之间的残余点。然后将这些残余点添加到 LPET 点中，生成预测的 PET 点。然后，通过点回归将预测点添加回图像，生成生成器的输出，即估计 PET 图像（记为 EPET）。最后，基于点的判别器将真/假 PET 图像对作为输入，并根据点确定其真伪。
积分建筑
考虑到图像与点之间的视差，首先通过点构造将输入的三维 LPET 图像转换为一组点。 设$x∈ℝ^{C×H×W×D}$ （其中$C$为通道数，$H、W、D$为高度、宽度和深度）为 LPET图像。
首先，将 $x$ 转换为一个点集 $e_p∈ℝ^{C×n} (n=W×H×D)$。然后，为了纳入明确的结构信息， 将点的三维几何坐标 $e_c∈ℝ^{3×n}$连接到 $e_p$。这样就 得到了与输入 LPET 图像相对应的点集 $e_0=\{e_p,e_c\}∈ℝ^{d_0×n_0} (d_0=C+3)$。
因此，每个点不仅包含原始特征（如纹理和边缘），还包含明确的几何结构信息。由此产生的 $e_0$ 将进一步发送到 CoC 块，以挖掘上下文关系。
CoC 块
・减分器
为了减少计算开销，同时便于使用多尺度信息，在每个 CoC 块开始时减少了点的数量。
对于第 i 个 CoC 数据块，点还原器 将前一个数据块的输出 $e_{i-1}∈ℝ^{d_{i-1},n_{i-1}}$ 作为输入，并在点空间中平均选择锚点 $A (A=32,16,8,4)$。
然后，为每个锚点选择其 $k$ 邻近点，沿通道维度进行连接，并通过线性投影进行融合。
最后 得到一个新的点集 $f_i∈ℝ^{d_i×n_i}$。不过，它的点数等于锚点数（$=d$）。
这样，每一层的点数乘以 8，维度则增加一倍。
・上下文聚类
-集群生成
给定一个点集 $f_i$，根据上下文亲缘关系对所有点进行分组。
首先，按照传统的超级像素方法 SLIC，在 $f_i$ 的点空间中提出集群 $c$ 的中心，并计算 $f_i$ 的每个点与所有提出的中心之间的成对余弦相似度。然后，将 $f_i$ 的每个点分配到上下文最相似的中心，形成集群 $c$。
由于每个点都包含原始特征和几何结构知识，因此相似性计算不仅强调上下文的亲和性，也强调结构的局部性，从而促进了对上下文和结构关系的探索。
-积分汇总
为了进一步强调上下文关系，每个聚类中的所有点都会根据其与聚类中心的上下文亲疏关系进行动态聚合。
假设一个聚类由 $M$ 点组成，聚类点空间的中心为 $v^c_i$，则聚类中的点 可表示为 $V_i=\{v_{i,m},s_{i,m}\}^M_{m=1}∈ℝ^{M×d_i}$。
聚合点 $g_i∈ℝ^d_i$ 是集群 $v^c_i$ 中各点中心的上下文相似性加权和，其公式为
其中，$\alpha$ 是用于缩放和移动相似度的可学习参数，$sig(-)$ 表示 sigmoid 激活函数，$C$ 是归一化因子。
这样，就可以根据每个点的上下文亲缘关系对其进行聚合，从而准确地描述上下文关系，形成具有细粒度上下文的紧凑表示。
・积分调度
聚合点 $g_i$ 通过上下文相似性自适应地分配给集群中的每个点，从而促进点之间的相互交流，并使它们能够在集群中集体共享结构和上下文信息。具体来说，对于一个点 $v_{i,m}$，我们按以下方式更新。
通过这些步骤，可以高效地探索显式结构和细粒度上下文，最终 得到第$i$ 个区块的输出 $e_i∈ℝ^{d_i×n_i}$。
TCoC 块
TCoC 图块的结构与 CoC 图块非常相似。唯一不同的是，CoC 图块使用 "点缩减器 "来减少点的数量，而TCoC 图块则使用 "点扩展器"来增加点的数量。
与 "点缩减器 "不对称的是，"点扩展器 "将点集中的所有点都视为锚点。对于每个锚点，应用线性投影层，并将其通道维度扩大 $k$。然后将点沿通道维度分割成 $k$ 点，并均匀地放置在锚点周围，以创建一个扩展点集，并通过上下文聚类进行进一步处理。
如上所述，TCoC 块的引入实现了点的扩展和恢复。此外，为了利用 CoC 块提取的补充信息，还使用了剩余连接，将 TCoC 块的输出添加到相应的 CoC 块中。
最后，最后一个 CoC 块输出 LPET 和 SPET 之间的残差点，将其添加到 LPET 点 $e_0$，并进一步添加回图像，生成生成器的最终输出，即 EPET 图像。
基于点的判别器
为了提高图像质量，我们采用了基于点的判别器来确定输入图像对的真假。
传统的基于斑块的判别器以体素斑块的形式识别三维图像，而 PCC-GAN 判别器则以点的形式确定图像的真实性。
首先，将真实/虚假 PET 图像对（LPET 图像和相应的真实 SPET 或虚假 EPET 图像）作为输入，通过点构造（Points Construction）将图像转换为点，然后使用四个 CoC 块来学习更多的判别结构知识。.最后，应用 sigmoid 函数来判断输入是否真实。
通过利用特定点的优势，这种基于点的网络可以更好地识别真实图像和重建图像之间的结构差异，并为生成器提供有用的反馈。
目标函数
PCC-GAN 的目标函数包括估计误差损失和对抗损失。
估计误差损失用于提高重建的 EPET 图像 $G(x)$ 与真实 SPET 图像 $y$ 之间的相似度，L1 损失表示为
此外，为了保持真实 SPET 和 EPET 图像之间数据分布的一致性，还引入了敌意损失，其定义为
总的来说，PCC-GAN 的目标函数表述如下。不过，$\lambda$ 是一个超参数，用于平衡两个项。
试验
数据集
临床数据集包括八名正常对照组（NC）受试者和八名轻度认知障碍（MCI）受试者的 PET 图像；SPET 图像使用 12 分钟采集的图像数据，LPET 图像使用 3 分钟采集的图像数据，缩短了时间以模拟四分之一的标准剂量。用于：
模型数据集包括从 BrainWeb 数据库中提取的 20 个模拟受试者，其图像数据来自以四分之一正常计数水平模拟的 LPET 图像。
两个数据集的 PET 图像大小均为 128 x 128 x 128，并从每幅三维图像中提取了 729 个大小为 64 x 64 x 64 的重叠大块。此外，在训练过程中还进行了留一交叉验证（LOOCV），以获得更无偏见的性能评估。
结果
PCC-GAN 与六种最先进的 PET 重建方法（包括 Auto-Context、Hi-Net、Sino-cGAN、M-UNet、LCPR-Net 和 Trans-GAN）进行了比较，并分别在临床和模型数据集上得出了定量比较结果表 1 和表 2。
从表 1 和表 2 中可以看出，PCC-GAN 在两个数据集中都以相对较少的参数在所有评估标准中取得了最佳结果。
此外，图 2 中的可视化效果显示，PCC-GAN 生成的图像视觉效果最佳，误差最小。所有这些结果都表明，PCC-GAN 在预测准确的 SPET 图像方面是最好的。 
为了证明 PCC-GAN 的临床价值，本文的进一步下游任务是在临床数据集上进行阿尔茨海默病诊断实验：如图 3 所示，PCC-GAN 的分类准确率（88.9%）与 SPET 图像的分类准确率（90.0%）最为接近，表明 PCC-GAN 在疾病诊断方面具有巨大的临床潜力。
结论
本文提出了一种基于三维点的上下文聚类 GAN（PCC-GAN），用于从 LPET 图像重建高质量的 SPET 图像。通过利用点的几何表示，PCC-GAN 明确保留了三维 PET 图像的复杂结构，并提供了清晰明了的重建。此外，通过利用上下文聚类，探索了细粒度的上下文关系，减少了模糊性和小尺寸结构的缺失。进一步的大量实验证明了 PCC-GAN 的优越性。
我们认为，提议的 PCC-GAN 特别令人印象深刻的一点是，利用点的几何表示方法实现了传统方法难以实现的清晰重建。未来，这种方法如何在临床实践中得到实际应用将是一个有趣的话题，我们认为这项研究的成果有可能带来进一步的发展。
与本文相关的类别
