时间序列LEAVES的对比学习中的自动视图学习

时间序列 10/02/2023

三个关键点
✔️ 用对比学习的数据增强在调整策略和参数方面很耗时
✔️ 开发了一种方法，LEAVES，用于自动生成时间序列数据的训练视图
✔️ 比基线，包括SOTA方法。发现它在寻找理性观点和执行下游任务方面更加有效

LEAVES: Learning Views for Time-Series Data in Contrastive Learning
written by Han Yu, Huiyuan Yang, Akane Sano
(Submitted on 13 Oct 2022)
Comments: Published on arxiv.
Subjects: Machine Learning (cs.LG); Artificial Intelligence (cs.AI)

code：

本文所使用的图片来自于论文，来自于介绍性的幻灯片，或者是在参考了这些图片后制作的。

摘要

对比学习是一种自我监督的学习方法，可以从无标签的数据中学习表征，已经发展成为一种有前途的技术。许多对比性学习方法依赖于数据增强方法，产生与原始信号不同的观点。然而，在对比学习中，调整策略和超参数以获得更有效的数据增强方法往往是耗费时间和资源的。研究人员已经设计了一些方法，为给定的输入信号自动生成新的视图，特别是图像数据。然而，很少有针对时间序列数据的视图学习方法被开发出来。在这项研究中，我们提出了一个简单而有效的模块，用于在对比学习中自动生成时间序列数据的视图，名为时间序列数据的视图学习（LEAVES）。拟议的模块使用对比学习中的对抗性学习来学习扩展的超参数。在多个时间序列数据集上测试了所提方法的有效性。实验结果表明，与包括对比学习和基于手工调整扩展的SOTA方法在内的基线方法相比，所提出的方法在寻找合理视图和执行下游任务方面更加有效。

介绍。

对比学习已被用于各种下游任务，如图像（Chen等人，2020；Grill等人，2020；Wang & Qi，2022）和时间序列数据（Mohsenvand等人，2020；Mehari & Strodthoff，2022）。它已被广泛用于提高模型的稳健性。在所开发的对比学习方法中，数据扩展在生成不同的破坏性变换中起着至关重要的作用，作为对前文任务的原始输入的看法。例如，Chen等人（2020年）提出了SimCLR方法，该方法通过最大化同一样本的扩展视图的一致性来预训练模型，在标签数据极度匮乏的图像分类中，其表现明显优于之前的最先进方法。然而，数据增强方法的选择通常是经验性的，即使使用自动搜索算法，调整一套优化的数据增强方法也可能花费数千GPU时间（Cubuk等人，2019）。因此，如何有效地生成新数据集的视图仍然是一个开放的问题。

研究人员没有使用人工生成的视图，而是专注于训练深度学习方法，为输入样本生成优化的视图（Tamkin等人，2020；Rusak等人，2020）这些方法产生了合理的破坏性产生破坏性的视图并产生令人满意的结果。例如，Tamkin等人（2020年）提出了ViewMaker，这是对比学习中一个对抗性训练的卷积模块，用于生成图像的增量。然而，像前面提到的ViewMaker这样的方法在直接用于时间序列数据时可能并不熟悉。主要的挑战是，对于时间序列信号，不仅需要干扰幅度（空间），还需要干扰时间维度Um等人（2017）；Mehari & Strodthoff（2022）。另一方面，基于图像的方法只能通过向输入数据添加适度的噪声来干扰空间区域。

我们提出LEAVES，这是一个轻量级的模块，用于在对比学习中学习时间序列数据的视图，其中LEAVES被优化为对抗对比损失，并生成对表示学习中的编码器具有挑战性的视图。我们还提出了一种针对时间序列数据的可微分数据扩展技术，名为TimeDistort，以在生成的视图中引入平滑的时间扰动。图1显示了由ViewMaker（Tamkin等人，2020）和我们的方法生成的心电图（ECG）视图实例。在图1(a)中，时间位置没有被扰乱，原始心电信号的平坦区域（T-P间期作为心电靶标）完全被扭曲。与ViewMaker相比，所提出的LEAVES可以在空间和时间域扭曲原始信号，而且更加重要。扭曲，更重要的是，减少了由于时间序列数据的过度扰动而丢失完整信息的风险。实验和分析结果表明，拟议的LEAVES（1）优于包括SimCLR和SOTA方法在内的基线；（2）与SOTA方法相比，在时间序列数据中产生了更合理的观点。

技术

对比学习是一种自我监督的学习形式，它鼓励对相同输入的转换进行类似的表述，并从不同的样本对中学习它们的差异。在这项研究中，我们采用了一种简单而行之有效的对比学习方法--SimCLR（Chen等人，2020）。图2提供了预训练架构的概况。首先，引入了一个可区分的LEAVES模块，以产生更难但忠实于输入的观点；LEAVES模块与SimCLR框架相连，以产生不同的观点进行对比学习；LEAVES以对抗的方式与编码器一起训练，并且LEAVES与编码器一起以对抗性方式进行训练。

离开了。

我们提出LEAVES模块，这是一个轻量级的组件，可以很容易地插入到对比学习系统中。该模块由一系列可区分的数据增强方法组成，如抖动TJ、规模TS、幅度扭曲（MagW）TMW、排序（Perm）TP和新提出的时间失真（TimeDis）TT D。例如，TJ TP代表了输入数据与抖动噪声的转换，然后是重新排序。因此，拟议的模块生成视图ˆX，如下所示。

这里，σ代表数据增强方法的超参数，控制相对于原始样本的腐败强度。例如，σJ代表产生抖动噪声的标准偏差值。这个模块的目标学习参数是增量法的σ。通过学习这个参数，本模块学会了结合多种扩张方法来生成视图的策略。方程1中应用于X的扩展的顺序没有刻意调整，因为超参数和扩展的观点是独立的。这是因为，例如，要应用的Scale操作并不取决于Jitter生成的视图。

差异化的数据扩展到时间序列数据。

已为LEAVES选择了几种广泛使用的数据扩展方法。例如，Jitter、Scale和MagW扰乱了原始信号的幅度，而Time Warping（TimeW）（Um等人，2017）和Perm破坏了时间位置。扩增方法的详细描述可以在附录A.1中找到（见原始论文）。

为了优化这些扩展算法中的超参数，有必要在学习过程中对这些参数进行梯度传播。然而，这些扩展方法都是基于非差异化的操作，如随机取值和索引。因此，由于很难通过索引操作提取梯度，我们应用了重新参数化的技巧（Jang等人，2016年；Maddison等人，2016年），使这些程序可以微分，但TimeW方法除外。因此，我们提出了TimeDis增强方法作为平滑扭曲时间信息的替代方法；图3显示了时间序列样本的六种增强方法的例子。为了确保生成的腐败是合理的，基于量级的方法Jitter、Scale、MagW和K中的最大σ值被用作Perm中的最大段，噪声受到上界η的约束。

时间DIS。

这种方法依靠一个平滑的概率分布来产生原始信号被采样的位置的概率；它利用一个具有M个高斯成分的重新参数化的高斯混合模型作为∑M i φiN (μi, σ2 i )来产生一个位置指数λ ∈ RN x C x L，从-1到1。图4显示了一个使用TimeDis的例子。在生成的位置指数中，-1对应于原始信号的第一个时间步骤（位置1），1对应于最后一个时间步骤（位置L）。然后，用λ对原始信号X进行仿射，作为view ˆ X，可以看出，在密集指数为λ的位置，样本之间的间距比较松，而在稀疏指数为λ的位置，相应的间距比较紧。

敌对训练

在表征学习中，编码器提取的表征被定义为z。如果在SimClR框架中，编码器提取的N对表征为（zi，zj），{i，j}∈[1，N]，使表征对之间的一致性最大化的损失函数可以定义如下。

其中s(zi, zj)是zi和zj之间的余弦相似度，1k6=i是一个指标函数，在k 6=i时等于1，τ是一个温度参数，在本研究中固定为0.05。

如图2所示，LEAVES和编码器的优化方向是相反的。编码器的目标是最小化L，而LEAVES模块则希望最大化L。通过利用对抗性学习方法，LEAVES模块被设计为尽可能困难地扭曲原始信号，而编码器仍能从视图对中提取完整的信息。在这种情况下，编码器通过针对损坏最严重的视图进行训练而变得稳健：在训练SimCLR框架后，在编码器结构中学习的模型权重被用来初始化下游任务中监督学习的模型权重。

评价

为了评估所提出的方法，我们使用Apnea-ECG（Penzel等人，2000）、Sleep-EDFE（Kemp等人，2018）、PTB-XL（Wagner等人，2020）进行应用，检测呼吸暂停、睡眠阶段、心律失常和人体活动。PAMAP2（Reiss & Stricker, 2012），分别在四个不同的公共时间序列数据集上进行实验。对于每个数据集，我们预先训练所提出的模块和编码器，并对下游任务的编码器进行微调。为了比较，我们实现了三个基线（1）有监督的ResNet-18，（2）带有随机扩展的SimCLR和（3）包含一维时间序列输入的复制的ViewMaker网络。

通过单导联心电图检测睡眠窒息症。

Apnea-ECG数据集（Penzel等人，2000）研究了人类睡眠呼吸暂停症状和心脏活动（通过ECG监测）之间的关系，可以从Physionet（Goldberger等人，2000）获取。按照Penzel等人（2000）在原始版本中的设定，以每分钟为单位使用100Hz的心电图来检测是否发生猿猴的二进制标签，训练集和测试集中分别有17233和17010个样本。在控制的预训练阶段，抖动、刻度和MagW的噪声阈值δ被设定为0.05，TimeDis的M为12，Perm的K为5。100个学习率为1e-3的历时用于预训练编码器，30个学习率为1e-3的历时用于微调下行任务。

表1显示了检测睡眠呼吸暂停的评估结果。在同一数据集的SOTA之后，我们使用灵敏度（Sen.）和特异性（Spec.），评估对患者诊断呼吸暂停的能力，作为衡量模型性能的标准。对所提出的模型与基线模型的比较证实，LEAVES在Sen.和Spec.两个指标上都比基线表现更好。SimCLR和ViewMaker的表现都超过了监督基线，SimCLR的表现略好于ViewMaker，与SOTA相比，所提出的方法显示出有竞争力的Sen.得分，但Spec.得分相对较低。这可能是由于不同的设置，如对噪声样本的过滤和数据预处理。基线监督结构与（Chang等人，2020）相似，但我们的监督基线结果的Spec.比SOTA低。

通过脑电图进行睡眠阶段分类

脑电图是监测人类大脑活动的重要信号；它在Sleep-EDF（扩大）（Kemp等人，2018）数据集上进行了测试，该数据集包含100赫兹Fpz-Cz脑电信号的整夜睡眠记录。按照Supratak & Guo (2020)的做法，提取了42308个30秒的样本，并在五个睡眠阶段进行了注释。在对比性预训练阶段，Jitter、Scale和MagW的噪声阈值δ被设定为0.05，TimeDis的M为10，Perm的K为5。100个学习率为1e-3的历时用于预训练编码器，30个学习率为1e-3的历时用于微调下游任务；为了与SOTA进行性能比较，准确性和宏f1得分被用作评价指标。

表2显示了所提出的方法在使用脑电信号进行睡眠阶段分类方面的性能。该表显示，所提出的方法比基线表现得更好。还可以看出，与SOTA相比，所提出的方法在准确性和宏观f1得分方面都取得了相当的性能。然而，必须承认，SOTA中使用的实验装置和我们的研究是不同的。然而，SOTA和本实验的实验设置是不同的。例如，前处理并不统一，训练/测试数据集的划分也不普遍，10倍和20倍交叉验证在SOTA中广泛使用，而这里的验证集是根据受试者ID来划分的。

使用IMU和心率的人类活动检测。

人类活动可以通过可穿戴设备的数据进行检测；PAMAP2（Reiss & Stricker，2012）研究了从三个惯性测量单元（IMU）和一个心率监测可穿戴传感器收集的数据与人类活动之间的关系。实验使用了100赫兹的IMU数据和上采样的心率数据，遵循Moya Rueda等人（2018）；Tamkin等人（2020），在总共18种不同的身体活动中，有12种。在对比性预训练阶段，Jitter、Scale和MagW的噪声阈值δ被设定为0.05，TimeDis的M为7，Perm的K为5。100个学习率为1e-3的历时用于预训练编码器，20个学习率为1e-3的历时用于微调下游任务；为了与SOTA进行性能比较，准确性和宏观f1分数被用作评价指标。

表3显示了使用PAMAP2数据集对人类活动进行分类的性能。所提出的方法优于所有基线，并显示出作为共享相同训练/测试设置的SOTA的竞争结果（Moya Rueda等人，2018；Tamkin等人，2020）。Li & Wang（2022）进行的研究，使用了一个依赖于主体的在所有的研究中，使用70/30%的训练/测试分割策略的设置，取得了最高的性能。表3还比较了原始工作（Tamkin等人，2020）中报告的结果和我们复制的1D版本的结果。原始工作将时间序列数据转换为频谱图并利用二维ResNet，其模型精度与我们实现的一维ResNet版本的精度非常相似。

通过12导联心电图对心律失常进行分类。

心律失常是心血管疾病的主要原因之一，检测心律失常具有重要的临床前景。PTB-XL（Wagner等人，2020）数据集包含21,837份12导联和10s心电图，频率为100Hz，有5类心律失常标签的大型数据集。它遵循原始工作中建议的训练集和测试集的划分（Wagner等人，2020）。在对比性预训练阶段，抖动、刻度和MagW的噪声阈值δ被设定为0.05，TimeDis的M为6，Perm的K为5。100个学习率为1e-3的历时用于预训练编码器，30个学习延迟为1e-3的历时用于微调下游任务为了将模型性能与SOTA进行比较，我们使用AUC和准确性作为评价指标。

表4显示了使用心电图序列的心律失常分类结果。建议的方法优于监督和ViewMaker基线，而带有随机扩展的SimCLR基线的表现略好于建议的方法。所提方法与SOTA的比较表明，所提方法表现出比一些监督方法更高的AUC，如（́Smigiel等人，2021；Li等人，2021）。有趣的是，将这里的结果与ECGcentred基准自我监督学习工作相比较，可以看出本文的结果略高于他们的SimCLR的实现，这也是与所提出的人工调整强化的比较LEAVES可能表明LEAVES的有效性（Mehari & Strodthoff, 2022）。

讨论

本文介绍了ViewMaker框架在时间序列数据中的应用，以及用不同的增强超参数对基线SimCLR算法进行微调，并进行了隔离研究。进一步介绍了所提方法的训练视图和LEAVES模块的复杂性。

隔离研究：时间序列数据中的ViewMaker

本文的研究受到ViewMaker（Tamkin等人，2020）的启发；ViewMaker框架得到了测试，并观察到了改进，如评价部分所示。然而，当应用于时间序列数据时，也观察到了ViewMaker的局限性；图1显示了ViewMaker在时间失真和信息存储方面的局限性的例子。为了进一步验证生成的视图的保真度，使用NeuroKit软件包（Makowski等人，2021）的心电图质量检查方法（Zhao & Zhang，2018）。检查结果显示，ViewMakers方法将几乎一半的心电图扰乱为 "不可接受"，代表几乎不被认可为心电图信号的信号。因此，ViewMaker应用于时间序列数据时的局限性促使本研究提出的方法的发展。

隔离研究：对SimCLR基线进行微调

在对比学习中寻找最佳的数据增强方法是很困难的，因为增强方法的搜索空间通常是巨大的。在这项研究中，为了学习一个强大的SimCLR基线，调整了基线SimCLR增强方法的强度。例如，T（0.01）代表K=5时抖动、规模、MagW和TimeW的σ为0.01。表6显示了调整在准确性和宏观f1得分指标方面的表现。在改变影响扩展方法强度的超参数时，观察到了不同的评价结果：对于一些数据集，如PAMAP2，即使有不同的超参数，也证实了接近的性能。然而，在PTB-XL数据集上，该模型的性能似乎受超参数的影响更强烈。例如，当σ设置为0.05时，与SimCLR的σ=0.03相比，观察到性能下降。这表明，找到适当的扩展有助于对比学习，而不适当的转换可能会降低模型的性能。此外，所提出的方法可以为时间序列数据找到合适的增援，而不需要花费时间去寻找增援，这对于使用新的或一般未研究过的时间序列数据的研究人员来说可能很有意义。

学习超参数的扩展。

在提出了一个基于微分扩张的方法后，可以推断出控制扩张的超参数随着模型的训练而在学习过程中发生变化；图5显示了它显示了标量超参数的变化，所有四个数据集的Jitter和MagW的σ值都在继续增加，而Scale的σ值则呈现下降趋势。还发现，Perm的最大段K在PTB-XL中呈上升趋势，在PAMAP2数据集中呈下降趋势。虽然没有在本研究中进行，但这一现象表明，这种方法也可能有助于在不同数据集的监督学习中找到合适的观点。一个可能的应用是将我们提出的模块与带有对抗性学习的监督学习框架相结合，如Rusak等人（2020）的框架。

时间和空间的复杂性

由于LEAVES的目标优化权重是扩展方法的超参数，与传统的SOTA（如ViewMaker）相比，所提出的方法在模型空间复杂性方面具有优势。例如，我们复制的1D ViewMaker结构有580 000个参数需要训练，而LEAVES优化了20个参数来生成视图。另一方面，将LEAVES引入SimCLR的延迟小得可以忽略不计：在AWS p3.2xlarge（双NVIDIA V100 GPU）的训练环境中，批次大小N设置为128，睡眠-EDFE数据集的100个epochs经过训练，基线SimCLR平均为578.0秒/epoch，而使用LEAVES的SimCLR为390.8秒/epoch。这是因为这些扩展是作为LEAVES模型的一部分来编程的，它利用GPU来加快计算速度，实现比基线SimCLR更短的学习时间。

摘要

本研究介绍了一个简单有效的LEAVES模块，用于在对比学习中学习时间序列数据的增量。所提出的方法使用对抗性学习方法来优化对比性学习中数据增强方法的超参数。在四个数据集上对所提出的方法进行了评估，结果显示其性能优于基线。特别是，在没有超参数调整的情况下，所提出的方法LEAVES在四个应用中的三个方面优于SimCLR基线。此外，使用所提出的方法比SOTA研究更有优势，特别是对于心电图时间序列数据，在存储信息方面，证明了它在扩展视图中的地位。在未来，我们将为LEAVES引入进一步的扩展方法，以提高模块的可变性，并探索在监督学习中调整扩展的可能性。我们还计划将该方法应用于更广泛的时间序列数据。此外，调查LEAVES的可解释性也是一个有趣的方向，以更好地理解对比学习中的数据扩展政策，根据。

与本文相关的类别

友安昌幸 (Masayuki Tomoyasu): JDLA G检定2020#2,E资格2021#1 数据科学家协会 DS检定日本创新融合学会 DX检定专家联合公司Amico咨询 CEO

赶上最新的AI论文

时间序列LEAVES的对比学习中的自动视图学习

摘要

介绍。

相关研究

基于扩展的对比性学习。

自动扩展

技术

离开了。

敌对训练