使用基于能量的生成模型进行时间序列预测，这在最近受到了广泛关注
三个要点
✔️ 多变量时间序列预测框架的建议 ScoreGrad
✔️ 使用基于能量的生成模型和分数匹配
✔️ 使用真实世界的数据集验证SOTA性能
ScoreGrad: Multivariate Probabilistic Time Series Forecasting with Continuous Energy-based Generative Models
written by Tijin Yan, Hongwei Zhang, Tong Zhou, Yufeng Zhan, Yuanqing Xia
(Submitted on 18 Jun 2021)
Comments: Published on arxiv.
Subjects: Machine Learning (cs.LG); Machine Learning (stat.ML)
code：
本文所使用的图片要么来自该文件，要么是参照该文件制作的。
简介
各种各样的传感器被用来记录日益复杂的系统的状态。它们被视为具有相关性的多变量数据。随着深度学习的发展，多变量时间序列预测取得了重大进展。
另一方面，也有一些限制。另一方面，也有一些局限性，如无法对时间序列中的随机信息进行建模，也无法对长期时间依赖性进行建模。
基于EBM（Energy-Based generative Model）的TimeGrad的局限性已被削弱，但仍有以下限制：1）TimeGrad中使用的DDPM（Denoised Diffusion Probabilistic Model）对注入到原始分布中的噪声大小很敏感。分布；2）必须仔细设计用于噪声注入的步骤数量；3）可以用DDPM进一步扩展生成过程的采样方法；4）必须仔细设计用于噪声注入的步骤数量。
为了解决这些问题，我们提出了ScoreGrad，一个基于连续能量生成模型的多变量时间序列预测的通用框架。
1）ScoreGrad是第一个将基于连续能量的生成模型应用于多变量时间序列预测。
2）每一步的学习过程包括提取时间序列的特征值和具有分数匹配模块的条件SDE（随机 微分方程）。预测是通过解决逆时间SDE来完成的。
3）ScoreGrad被应用于六个真实世界数据集的预测，以检查SOTA的性能。
相关研究
多变量时间序列预测
在ARIMA等统计方法之后，人们又研究了深度学习方法，提出了DeepAR、MQRNN等。此外，RNNs已经与注意力、残差和扩张连接相结合。最近，概率模型，其中数据分布由归一化流或GANs明确建模，已经显示出比确定性模型更好的性能。然而，这些方法的功能形式是有限的，有些对超参数很敏感。
基于能源的发电模式
基于能量的模型（EBM）也是由Yann LeCun教授提倡的，是一个非正常化的随机模型。输出是一个标量：如果两个输入接近，输出是一个小值，如果它们相距甚远，输出是一个大值。以下材料来自纽约大学的一个深度学习讲座。
EBM在功能形式上的限制性要小得多，在自然语言处理和密度估计等各个领域都有广泛的应用。然而，EBM的未知归一化常数使其难以学习。以下是目前的学习方法。
1）MCMC最大似然估计：不直接计算似然，而是使用MCMC抽样方法，如哈密尔顿蒙特卡洛，来估计对数似然梯度。
2） 基于分数匹配的方法：。费舍尔分歧到使数据分布和估计分布之间的对数可能性梯度偏差最小。
3) 噪声对比估计：。通过与已知密度的对比，可以学到EBM的概念。
在本文中，我们专注于第二个EDM与分数匹配。受[10]的启发，一个基于连续SDE的图像生成模型的能量模型，我们将其应用于多变量时间序列预测。
基于分数的生成模型
分数匹配模型
分数匹配，而不是使用最大似然估计，试图最小化数据和模型分布之间的对数密度函数导数的距离。虽然不能知道数据分布的密度函数，但可以通过部分积分的技巧来简化目标，如公式1。
$nabla_x logp_\theta (x)$被称为得分函数。
离散分数匹配模型
最近，两类基于能量的生成模型，使用不同程度的噪声来估计分数网络，在图像生成任务中取得了良好的性能，其结构如图1，其中描述了前向传播和反向传播的过程。
Lengevin动态中的分数匹配
SMLD (Score matching with Langevin dynamics)是一种改进基于分数的生成模型的方法，通过用不同程度的噪声扰动数据并训练NCSN (Noise Conditioned)NCSN（噪声条件得分网络）来估计所有噪声水平的得分。
振荡核的定义是公式（2）。噪声序列以升序排列${{sigma_1, \sigma_2, cdots , \sigma_N}$。
对于生成，Lengevin MCMC被用于迭代采样。迭代步骤数为M，$p_sigma _i (x)$的取样过程可表述为
去噪扩散随机模型
噪声序列为0<$beta _i $<1, i=1,2,$\cdots $, N，离散马尔可夫链为
反向传播过程是通过反马尔可夫链进行的这种方法被称为传输采样。[10]
SDE中的分数匹配
在[10]中，表明上述两个含噪声的过程可以用随机数字形式来建模。在不丧失一般性的情况下，SDE可以考虑如下：w表示标准的维纳过程，f是漂移系数，g是一个称为扩散系数的标量函数。
8）的逆过程也满足SDE，并且是同时，上述两个过程可以被视为连续时间SDE的离散形式。
这在表1中进行了总结。
ScoreGrad中使用的三个SDE是
VE SDE (Variance Exploding)之所以叫这个名字，是因为当t到无穷大时，变量会爆炸。
在VP SDE(Variance Preserving)中，方程(5)中的N到了无穷大，这导致了方程(11)。$Sigma(t)$的上界总是$Sigma(0)$。
在sub-VP SDE中，变量的上界总是与VP SDE相对应的。
方法
符号和问题的提出
让$Kai $= {$x_1^0, x_2 ^0, \cdots , x_T ^0$}为D维度的多变量时间序列。概率预测任务可以转化为$q_\Kai$的预测。
模型结构
ScoreGrad的总体框架如图2所示。它由两部分组成：左半部分是时间序列特征值提取模块，右半部分是虚线中的基于条件随机微分方程（SDE）的分数匹配模块。
时间序列特征值提取模块时间序列特征值提取模块
特征值F是由更新函数R根据过去的数据连续更新的。
它是一个通用框架，允许使用许多序列建模方法，如RNN、GRU和TCN。(13)中的迭代预测策略可以转化为以下的条件预测问题
在本文中，一个递归神经网络被用作默认。
基于条件的SDE的分数匹配模块
如图3所示，在每个时间点，Ft被用作基于SDE的分数匹配模型的条件。前向传播遵循公式（8），后向传播遵循公式（8）。
条件得分网络
继WaveNet和DiffWave之后，条件得分网络有8个剩余块，图3显示了一个块。嵌入不是位置性嵌入，而是随机傅里叶特征值嵌入。
学习
每个模块都使用上述的SMLD和DDPM损失函数进行训练，损失函数如下。
预测
预测过程是一个反连续时间SDE的迭代采样。每个时间步骤的细节可以在图4中看到。作为采样器，我们使用PC（预测器-校正器）采样器，遵循[10]。
实验
数据集、度量衡
我们使用表二所示的六个数据集进行评估。我们对每个时间序列维度使用连续排名概率得分（CRPS），对时间序列维度之和使用CRPSsum，用来衡量累积分布函数（CDF）的兼容性。
比较方法
有八个可以比较。不谈细节，所使用的方法包括自回归、LSTM、卡尔曼滤波和基于能量的模型。
结果
对ScoreGrad框架中的三个SDE和八个比较器进行了评估，结果见表三：CRPS的平均值和标准偏差。深度学习方法比统计方法表现得更好。潜变量的维度对性能有很大的影响：TimeGrad用DDPM取代了归一化的流量，它的结果比Exchange更好。
三种ScoreGrad方法在Exchange数据集之外的结果最好；VP SDE比VE SDE好；VE SDE在交通数据集上更好；VP SDE比VE SDE好；VE SDE在Exchange数据集上比VE SDE好。
以交通数据集为例，显示了一个时间序列图，以显示预测的一致程度。
隔离
采样器比较
图6显示了三个模型在太阳能数据集上的九个采样器之间的差异。反扩散采样器和退火的Langevin动态的结合给出了最好的结果。
扩散步骤的影响
ScoreGrad中的扩散步数N对应于DDPM中的噪声注入步数，而TimeGrad则对噪声注入步数敏感。
其他应用
观察ScoreGrad中的预测图，我们可以看到一些通道，如图8，并没有再现实际数据。造成这种现象的原因可能有很多，比如节假日。在任何情况下，都需要监测以确保服务的可靠性。另一方面，ScoreGrad也可用于异常情况检测。
摘要
首次提出了一个多变量时间序列预测模型，将基于连续能量的生成模型（VAE）应用于EBM，该模型比VAE具有更少的功能限制。该模型与随机微分方程（SDE）相耦合，这使得它可以应用于更广泛的框架。
未来的发展包括应用强大的顺序模型，如变压器，评估更多的SDE类型，减少采样的计算成本，以及损失函数与度量的关联。
与本文相关的类别
