StackVAE-G成为一个强大的装备，切入多变量时间序列异常检测领域

时间序列 06/07/2021

三个要点
✔️ 考虑到多变量时间序列数据的特点和目标，进一步提出的框架
✔️ 基于VAE的堆叠块处理，降低计算负荷
✔️ 通过纳入图形学习模块，提高了性能和可解释性

Stacking VAE with Graph Neural Networks for Effective and Interpretable Time Series Anomaly Detection
written by Wenkai Li, Wenbo Hu, Ning Chen, Cheng Feng
(Submitted on 18 May 2021)
Comments: Published on arxiv.
Subjects: Machine Learning (cs.LG)

code：

首先

关于多变量时间序列异常检测，我们在之前的文章中描述过（MTAD-GAT使用图形注意力进行多变量时间序列异常检测)，我们介绍说，通过不仅捕捉时间轴上单个时间序列数据的特征，而且捕捉时间序列数据之间的相关性，可以提高模型性能。

这里介绍的StackVAE-G也遵循这一概念。与MTAD-GAT没有直接的比较，也许是因为其提出的时间很接近。MTAD-GAT主要使用图形注意力来捕捉特征值与时间轴的相关性，FCN和VAE分别作为预测模型和恢复模型。不注意）被使用，这是很不同的。我也想看看这方面的情况。

这个数据例子是NASA收集的航天器数据SMAP（Soil Moisture Active Passive satellite），它也被用于MTAG-GAT评估。我们可以看到一些数据系列之间的相似性和关联性。

这些关系可以在其他时间序列数据中看到，如维护时间决策、入侵检测、欺诈检测、疾病爆发检测和AI操作。为了进行有效的异常检测，必须牢记以下两点

重建模型
关联结构

对于修复建模，我们提出了一个堆叠的块状修复框架，其中块状VAE模型是用共享的通道级权重堆叠的，以便将其应用于多变量数据。为了提取序列之间的相关结构，我们使用了一个图学习模块，其中时间序列数据的每个通道都对应一个节点，以了解遥远时间点之间的相关性。

背景

时间序列异常检测

基于神经网络的无监督学习有两种类型：基于预测的方法和基于恢复的方法。基于预测的方法的一个例子是LSTM-NTD，而深度生成模型被广泛地应用于基于修复的方法。

深度生成模型(DGM)

深度生成模型（DGM）恢复了数据输入的正常模式，并通过恢复的模型与无监督的模型之间的差异来检测异常情况。(图1(a), (b))

在分阶段方法中，RNNs被用来建立每个时间点的数据恢复模型；LSTM编码器-解码器、LSTM-VAE、GGM-VAE、OmniAnomaly等都具有这种结构。然而，它有一个弱点，即它倾向于对正常和异常的数据进行过度训练。这是由于为每个时间点建立一个恢复模型的策略。

为了解决这个问题，基于区块的方法使用滑动窗口为每个区块建立一个恢复模型，如Donut和USAD。然而，模型权重的大小是很大的，需要更多的计算能力和数据来提高学习的准确性。在多变量时间序列的情况下，它变得更加严重。

图形学习，结构学习

对于多变量的时间序列数据，带有内生变量的自回归方法可以用来构建向量自回归模型。这些递归深层模型包含渠道之间的内生关联，缺乏解释力。

技术

StackVAE-G的结构如图3所示。这个骨架是一个VAE，蓝色部分是编码器，粉红色部分是解码器。蓝色部分的左上块是图形学习模型。它对上层时间序列输入和下层时间序列恢复的数据进行比较，以确定异常情况。

可变的自动编码器

变异自动编码器是StackVAE的基本模型；关于VAE的更多信息，请参考各种描述。

层压块VAE模型

堆叠块状VAE修复模型建立了一个单通道块状修复，并利用权重共享将其堆叠多次。图2c）图中的行对应于通道。顺时针编码的潜变量$H_1$是m维的，大小为nxm，有n个通道。在接下来描述的图学习模块的输出$Tilde{A}$中，在第二阶段通过加权将其转化为潜变量$H_2$。

潜伏变量$H_2$通过解码器以获得恢复的数据。

图形学习模块

时间序列数据的多个通道之间的相关结构是由一个无向图网络学习的，该网络由以下公式表示。

$E$是一个用随机数初始化的节点，对应于一个通道。该模型专注于异常检测任务，目的是在概率VAE框架下学习正常条件下稳定相关的时间不变图。

我们通过以下过程得到$Tilde{A}$，将其他具有强关联性的顶k设置为零。

损失函数

损失函数是图网络的损失和VAE的损失之和，如下所示

学习和检测

在训练中，我们将StackVAE模型和图学习模块这两个模块结合起来，用Adam优化$L_{total}$；我们训练由StackVAE和图学习模块组成的编码器，推断出后验潜分布p(X|Z)。从近似的后验分布q(Z|X)中随机取样，训练解码器以产生准确的恢复输出。

为了检测，在对输入X恢复了正态模式$hat{X}$的情况下，X的每个时间t的异方差得分表示为

实验

用于评估的数据是NASA的SMAP数据，此外还有MSL（火星科学实验室）和SMD（服务器机器数据集）。

比较结果见表1。其中大部分都在前文中介绍过；IF（Isolation Forest）是一个树状结构的集合体，可以有效地对变体进行分类[19]；USAD（Unsupervised Anomaly Detection）是一个类似GAN的对抗性学习模型，使用两个共享编码器的自动编码器[14]。USAD(Unsupervised Anomaly Detection)是一个像GAN一样使用两个共享编码器的自动编码器进行对抗性学习的模型[14]。

我们选择为每种方法提供最佳F1分数的阈值。