动态图上时间序列的对比性学习GraphTNC

时间序列 01/12/2022

三个要点
✔️ GraphTNC提出了一个新颖的编码器，使用对比学习框架来学习动态或静态图上多变量时间序列数据的表示
✔️ 主要架构包括一个静态的主要架构包括一个学习图状态和多变量时间序列之间关系的图编码模块和一个捕捉数据动态的时间模块
✔️ 在合成和真实数据集上的实验结果表明，当图告知和捕捉信号特征之间的动态关系时，该方法是有效的。

Contrastive Learning for Time Series on Dynamic Graphs
written by Yitian Zhang, Florence Regol, Antonios Valkanas, Mark Coates
(Submitted on 21 Sep 2022)
Comments: Published on arxiv.
Subjects: Machine Learning (cs.LG)

code：

本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。

摘要

近年来，在无监督学习的框架下，人们已经做出了一些尝试来发展多变量时间序列的表征。事实证明，这种表征在诸如活动识别、健康监测和异常检测等任务中是有益的。在本文中，我们考虑的是在一个动态图的每个节点上观察时间序列的设置。这里提出了一个名为GraphTNC的框架，用于无监督地学习图形和时间序列的组合表示。该方法采用了对比性学习策略。假设时间序列和图形的动态变化和演变在分段方面是平滑的，我们确定信号表现出近似静止性的局部时间窗口。然后，它学习一种编码，使其能够区分相邻和非相邻的信号分布。我们在合成数据和真实世界数据集的分类任务上展示了性能。

介绍

由于其稀疏的标记和复杂性，时间序列可能是一个具有挑战性的建模数据类型，特别是监督学习。为了应对这一挑战，本文使用无监督的方法来学习时间序列的嵌入，从而提取信息量大的低维表征。这种输入数据的通用表示法不需要标签，可用于任何下游任务。

在过去的几年里，自我监督学习（SSL）作为一种有效的表征学习方法得到了关注；SSL被称为对比学习，并由SimCLR方法"A simple framework for contrastive learning of visual representations"所推广。"，由SimCLR方法推广。自我监督学习的危险之一是衰减，即模型为所有样本输出类似或相同的嵌入。对比学习通过识别积极和消极的训练对来避免崩溃。正向对中的样本嵌入被鼓励为相似，而负向对中的样本嵌入则被拉开。

对时间序列的对比学习有几种方法：对比预测编码（CPC）是一种有效的策略，它首先将高维数据压缩到一个紧凑的潜在嵌入空间，然后使用自回归模型来预测信号的后续值。它使用预测编码的原理来训练具有随机对比度损失的编码器；Franceschi等人在"多变量时间的无监督可扩展表征学习"一文中说。在 "多变量时间序列的无监督可扩展表征学习 "中，Franceschi等人采用了三重损失来确保参考时间序列的表征与它的一个子序列（正样本）接近，并远离一个负序列（随机选择）。)利用信号的局部平滑性来学习一个时间序列窗口的可概括性表示。这是通过确保在时间上接近的信号的分布可以与远处的信号在表示空间中的分布区分开来实现的。TNC还考虑了一对阴性样本也是相似的可能性。

非受控学习在概念上比受控学习更简单，不需要大批量或大内存库来存储负样本。著名的方法包括Bootstrap Your Own Latent（BYOL）和Sim Siamese（SimSiam）。这些方法训练学生网络来预测教师网络的表现。后者的权重要么是学生权重的移动平均值，要么是与学生共享，但梯度不会通过教师反传播。最近的努力考虑制定更有效的损失条款。例如，改进并建立在BarlowTwins loss基础上的 Variance-Invariance-Covariance Regularisation（VICReg ），以及改进并建立在EvoNet 基础上的Barlow Twins loss。

在一些监督学习框架内，学习图结构被认为是为了捕捉多变量时间序列中的相关性。

EvoNet可以从时间序列数据中构建动态图，并将其用于事件预测。然而，图上时间序列的无监督表示学习在文献中仍未被探索。

本文提出了一个名为GraphTNC的框架，用于学习图形和时间序列的耦合表示。该程序是为信号和图形的基本状态随时间变化的环境设计的。该模型对于具有静态图形的时间序列也是可扩展的，其中每个时间步骤的图形输入是相同的：我们评估了在两个数据集上训练的表示的质量，并表明该表示是通用的，可转移到下游任务，如分类。本文的贡献可以归纳为以下几点。

- 提出了一个使用对比学习框架的新编码器，用于学习动态或静态图上多变量时间序列数据的表示。
- 它概括了计算机视觉领域的非反常学习方法，以处理非平稳的多变量时间序列数据。

解决问题

考虑到对时间序列的图形表示进行无监督学习的任务。让X∈^RN×T是一个多变量时间序列，其中N是单变量时间序列的数量，T是时间序列的总长度。从时间索引t开始的固定长度w的窗口由X的[t, t + w]第1列包含：X[t, t + w]∈^RN×w，并表示为^Xt。w不包括在符号中，因为它被假定为常数，仅在文本中为清晰起见而有必要时指定。与多变量时间序列相关的是一个由N个节点组成的动态图，其边缘随着时间序列的变化而变化；N个单变量时间序列中的每个都与图中的一个节点相关。节点之间的边被假设为代表一个不断发展的相关结构。与时间序列的窗口相似，动态图的窗口被定义为_Gt = [_Gt, . ,_Gt+w];_Gi = (V,_Ei), |V| = N, 其中每个图_Gi都与时间i的图状态相关。目标是学习一个时间序列窗口及其相关图（Xt^,^Gt）的表示^zt∈Rh:^fenc(^Xt, Gt⁾=^zt。

技术

设计了一个架构来建立一个多变量时间序列窗口及其相关图列的表示。这个架构是一个由两个模块组成的编码器。这些模块和用于训练编码器的损失函数描述如下。

A. 编码器f ^enc(^Xt,^Gt)。

编码方法可以分解为两个主要组成部分 a) 静态图编码模块，学习图状态和多变量时间序列之间的关系 b) 时间模块，捕捉数据的动态变化

a) 静态图编码模块。

这个模块的目的是学习节点嵌入和时间步骤i的多变量信号之间的关系。要做到这一点，首先需要一个基于图Gi状态的单个节点的表示。这是由一个任意的节点嵌入函数f ^G提供的，以图为输入。

然而，k是输出节点的嵌入维度。这个时间步骤的时间序列，用_Hi和_xi∈^RN表示，然后可以串联起来，通过神经网络得到ei，即在时间步骤i的图形和信号之间相互作用的最终表示。

其中，d是图-信号交互表示的维度，vec(-)是堆叠矩阵列的运算符，[-|-]是两个向量的连接（vec :^Ra×b →^Rab, [-||-] :^Ra||Rb →^Ra+b）。

b) 时间模块。

为了捕捉数据（Xt^，Gt^）的动态性质，并获得最终的表征^zt，使用了一个基于时间的神经网络f ^temp。这个网络f ^temp根据当前隐藏状态^si∈Rs和时间i的输入，输出下一个时间步骤的隐藏状态si^+1∈^Rs。在这个框架中，输入是信号_xi与处理过的图形和信号互动_ei的耦合。最终的表征^zt是通过将窗口_sw的最后一个隐藏状态通过神经网络得到的：。

一层图卷积为f ^G，一层双向门控递归单元（GRU）为f ^temp。 N N ¹ 和N N ² 都是单层前馈神经网络（FNN）。

B. 损失函数

定义判别器D(^zt, z)。目标函数是确保如果z和^zt是相邻窗口的代表，判别器的概率似然估计接近于1，否则接近于0。时间上最近的邻接窗口被认为是邻接窗口，并使用Augmented Dickey-Fuller（ADF）统计检验来寻找邻接范围。邻居范围^Nt的选择仅基于时间序列，因为假设图形的基本状态和信号是一起演变的。损失函数定义如下。

其中m是在非邻域̄N ^t的正窗口中采样的概率。通过优化函数，邻域（^Xl，Gl）∈N^t 的样本的表示^zl = f ^enc(Xl,^Gl) 可以与邻域之外的样本的表示^zk = f ^enc(^Xk,^Gk)区分开。

实验

在实验中，所提出的模型的性能在受控环境下的合成数据集和真实世界的数据集上进行了评估。两个数据集都有随时间变化的状态。因此，状态与每个时间窗口（Xt^，Gt^）相关。训练后的表征z的性能由一个下游分类任务来评估，其中状态是分类目标。

A. 数据集。

1）综合数据

合成数据集包含受动态图影响的多变量时间序列，这些数据也是综合生成的。时间序列和图形的生成是由时间序列的基本状态驱动的，由隐马尔可夫模型（HMM）来模拟。在每个状态下，时间序列是由不同的生成过程产生的，如具有不同参数集的非线性自回归移动平均模型或具有不同核函数的高斯过程。每个时间步骤的特征被串联成一个向量^ft∈RN 。

其中_At 是_Gt 的邻接矩阵，r是图形对时间序列影响程度的加权平均值。

2）脑电图：脑电图信号由连接到受试者大脑的探针记录。

这个数据集来自于一个在线数据科学竞赛1，包含了32个通道的脑电图记录，这些记录是受试者在进行手部抓握和抬起的动作。每个手部动作分为七个状态：初始动作、与被提物的初始接触、加载阶段的开始、松手、换手、释放和无动作。数据集的图形结构编码了32个电极位置之间的空间关系。该数据集提供了电极探头相对于大脑的物理位置图。这些探头被安排在一个网格中。每个节点代表一个电极探头，如果两个探头在网格上直接相邻，则一条边定义了连接这两个探头的图。由于该图是静态的，所以在每个时间步数上都要重复，以适应这个模型：提取100个长度为60个时间步数的信号来训练模型。

B. 实验装置

1）GraphTNC与基线TNC对比。

在这个实验中，比较了从时间序列中学习到的表征的分类性能，其中考虑了图表和不考虑图表。为了确保公平的比较，我们使用了为基线TNC提出的相同的编码器，f ^temp（1层双向GRU）。在这个架构中，图编码模块f ^G（单层图卷积）被添加到时间模块之前，因此f ^temp的输入是图和信号信息的复合。详细的超参数见表一。

训练时使用了Adam优化器，学习率为^1e-3，权重衰减为^1e-5，两个数据集都有100个epochs和早期停止。如前所述，鉴别器和编码器在训练阶段是一起训练的，但在推理过程中只需要编码器。窗口大小w是通过实验选择的，基于与TNCs相同的理论，其长度足以包含基本的状态信息，但不至于长到跨越多个状态。为了评估表征的质量，分类被用作下游任务。通过将单层FNN置于冻结表示之上，用交叉熵损失训练分类器，h为输入维度，S为输出维度。使用简单的结构减少了分类器对最终结果的影响，因为AUPRC更准确地反映了模型在不平衡数据上的性能，性能被报告为预测精度和精确召回曲线下的面积（AUPRC）得分报道称。

2）GraphTNC与非控制性学习的比较

在本实验中，保留了所提出的编码器f ^enc(^Xt, Gt⁾，并将GraphTNC对比性学习方法的性能与两种非对比性学习方法BYOL和SimSiam进行了比较BYOL具有非对比性结构，一个编码器的权重θm是另一个编码器的权重θ的指数。移动平均线。权重为φ的预测器被用于具有可学习权重的分支；SimSiam在一个分支中使用预测器，在另一个分支中使用停止梯度操作。在原论文中，两个编码器的输入是原始图像和强化物。为了将这些方法推广到这里，（Xt^，^Gt）和（^Xl，^Gl）∈^Nt 被赋予学生-教师网络的正对。不需要非近邻样本；在BYOL和SimSiam的投影仪和预测器中都使用了128-128大小的两层FNN。然后将所有无监督方法的性能与监督模型进行比较，在监督模型中，分类器和编码器是端到端的训练。在有监督的情况下，编码器和分类器的结构与无监督模型的结构相同。这里通过状态分类准确性和AUPRC来评估从不同方法学到的表征的性能。

C. 实验结果和讨论

1) GraphTNC与基线TNC对比

表二显示了状态分类结果。星号表示GraphTNC和基线之间在Wilcoxon签名秩检验中存在5%水平的统计学显著差异。首先，我们观察到，这个编码器学习了时间序列和图形的组合表示，在相同的参数化顺序下，对于模拟和EEG数据集，它在大多数时间里一直明显地优于基线。因此，我们得出结论，对时间序列的特征之间的关系进行建模可以提高性能。

接下来，为了进一步了解底层图形的作用如何影响性能，我们用方程（6）中不同的r参数值生成多个合成数据集。r∈{0.1，0.5，0.9}。r越大，时间序列数据就越依赖于方程（6）中的图形定义的空间过滤操作。代表r∈{0.1，0.5，0.9}，实验是针对r∈{0.1，0.5，0.9}进行的。我们通过对每个r值在10个分区中训练不同的模型并报告它们的AUPRC来评估模型性能。所提出的方法GraphTNC（蓝色）一直优于时间序列基线TNC（橙色）。这对准确度和AUPRC来说都是如此。鉴于合成数据中的标签分布并不总是均匀的，使用这两个指标是很重要的：AUPRC是精度和召回率的综合指标，被称为是不平衡数据集的可靠指标。表二显示了结果的平均值和标准偏差。除了在表二中报告结果的平均值和标准差外，图二中还报告了95%的置信区间。95%的置信区间是通过非参数方法（bootstrapping）获得的。图3还展示了r=0.1时编码的可视化情况。可以看出，图形TNC表示法比TNC表示法分离得更清楚，特别是对于0和2状态。

2）GraphTNC与不受控制的学习

表三显示了不同方法的表征在两个数据集上的分类性能，表明与其他两种非对称学习方法相比，GraphTNC的分类性能更接近于监督模型。另外，端到端学习框架具有与GraphTNC相同的编码器，然后是一个单层FNN，因此它们具有类似的参数；在EEG数据集上，BYOL和SimSiam产生了合理的结果，因为图是静态的，状态变化很少合理的结果。然而，随着非平稳性的增加，如图1中的合成数据，性能就会恶化。因此，BYOL和SimSiam将相邻的样本作为强化，适用于更稳定的时间序列场景。另一方面，这两种不受控制的学习方法需要更多的参数进行训练。总之，这里提出的GraphTNC是学习动态图上非平稳时间序列表示的有效方法。