低成本和高精确度!掌握多尺度时间特征的储层计算模型

时间序列 11/11/2021

三个要点
✔️ 回声状态网络的扩展，一种有效的低成本的时间序列预测方法
✔️ 使用多个独立储层来模拟多尺度时间特征
✔️ 在基准和实际工厂的电力负荷预测中具有高精确度

Long-Short Term Echo State Network for Time Series Prediction
written by Kaihong Zheng, Bin Qian, Sen Li, Yong Xiao, Wanqing Zhuang, Qianli Ma
(Received May 2, 2020, accepted May 9, 2020, date of publication May 14, 2020, date of current version May 28, 2020)
Comments: Published in IEEE Access.

本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。

简介

在本文中，我们介绍了回声状态网络（ESTN），它是一个低成本和高效的时间序列任务模型。Echo State Network (此后ESN)作为一种低成本、高效率的时间序列任务模型，它受到了广泛关注。

在过去的几年里，时间序列分析已经成为一个非常活跃的研究领域。特别是，时间序列预测已被广泛地应用于农业、商业、气象和医学等领域。时间序列预测涉及使用前馈网络(FFN)和支持向量回归(SVR)和递归神经网络(RNN)和循环神经网络（RNN）。其中矩阵（RNN是一个递归神经网络(递归)通过神经元之间的递归连接，RNNs可以以任意的精度近似任意的非线性系统，使其在处理复杂的非线性时间序列数据方面表现出色。

然而矩阵（RNN是一个BPTT算法，其结果是收敛速度慢，计算成本高，梯度消失/爆炸，并有陷入局部最优解的倾向。为了解决这些问题，一个高效的递归网络模型称为ESN已被提出作为一个有效的递归网络模型来解决这些问题。本文提出的方法是基于此的ESN而不影响其效率，并且能够以更高的精度预测更复杂的时间序列数据。我们将介绍这些创新和它们的影响。

回声州网络什么是

在解释所提出的方法之前，有必要了解一下通常的ESN我们简单介绍一下一个时间序列的信息被储存在一个存储库中(水库)和回声(回音)网络被更新，以便ESNESN由三层组成：输入、储存器和输出，如下图所示。3ESN由三层组成ESN的最重要特点是要学习的权重是输出层的权重$W_{out}$只有其中输出层权重为$W_{out}$。其他输入层权重$W_{in}$和贮藏层权重$W_{res}$在学习前随机初始化，并固定在其值上。因此，传统的矩阵（RNN它还可以防止梯度消失和爆炸，并获得最佳的全局解决方案。

以下是网络的最新公式。

$x(t)=\gamma\cdot\tanh (W_{in} u(t) + W_{res} x(t-1))+（1-\gamma）\cdot x(t-1)$

$y(t)=W_{out}x(t)$

其中$u(t)$是输入，而$x(t)$ 是水库状态是水库状态，而$y(t)$是输出。是输出。$W_{in}$，以及$W_{res}$, $W_{res}$。，以及$gamma$是超参数，决定了泄漏率中考虑了多少以前的状态。只有输出权重是通过解决一个线性回归问题来学习的。输出权重可以通过简单的线性回归来更新的原因是，贮藏层的非线性高维映射捕捉到了输入的动态变化。

ESN在时间序列预测中表现出优异的性能，但它很难对多尺度时间特征，即复杂的时间序列数据进行建模。这是因为ESN只有一个循环模块。因此ESN层的DeepESN和MESM然而，这些方法往往对长期的时间特征进行建模，而忽略了短期的特征，这影响了方法的效率。

建议的方法（LS-ESNs

ESN与ESN相比，本文提出对更复杂的多尺度时间特征进行建模。长期-短期回声状态网络（LS-ESNsLS-ESNs。LS-ESNs不是堆叠的层，而是3如下图所示，LS-ESN不是堆叠层，而是由三个具有不同递归连接的独立储层组成。每个水库都有一个长期水库长期水库典型的水库典型的水库短期水库并能捕捉到不同时间尺度的依赖性。在本节中，我们将解释每个网络的细节和输出层的处理。

长期水库

长期水库是一个专门通过跳过连接来捕捉长期特征的水库。更新方程如下

$x_{long}(t)=\gamma\cdot\tanh (W_{in}u(t)+W_{res}x_{long}(t-k))+(1-\gamma)\cdot x_{long}(t-k)$

其中$k$是要跳过的步骤的长度，数值越大，要考虑的时间尺度就越长，水库的状态就越是根据早期的信息来更新。

典型的水库

典型的水库是一个典型的ESN并以与ESN相同的方式更新。

$x_{typical}(t)=\gamma\cdot\tanh (W_{in}u(t)+W_{res}x_{typical}(t-1))+(1-\gamma)\cdot x_{typical}(t-1)$

时间$t$对在时间上更新状态特别有用$(t-1)$信息。

短期水库

短期水库是一个专门捕捉短期依赖关系的储库。

$x_{short}(t)=\gamma\cdot\tanh (W_{in}u(t)+W_{res}x(t-1))+（1-\gamma）\cdot x(t-1)$

$x(t-1)=\gamma\cdot\tanh (W_{in}u(t-1)+W_{res}x(t-2))+(1-\gamma)\cdot x(t-2)$

︙

$x(t-m+1)=\gamma\cdot\tanh (W_{in}u(t-m+1)+W_{res}x(t-m))+（1-\gamma）\cdot x(t-m)$

典型的水库的主要区别是$m$是引进的典型的水库引入了一个时间$t$时的水库状态。0到时间$(t-1)$而从时间0到时间$(t-1)$的所有信息都存储在短期水库是$(t-1)$.至$(t-m+1)$。即到$m$为止到$(t-m+1)$，即$m$。在实践中，时间$t$以计算出时间上的水库状态$x(t-m)$通过用正态分布重新初始化$x(t-m)$并重新计算，来计算时间为$t$的储层状态。这样一来，只有最后的$m$的历史信息被纳入考虑范围。

输出层处理

3从两个水库$x_{long}(t)$，以及$x_{typical}(t)$，和，以及$x_{short}(t)\in\mathbb{R}^{N\times 1}$然后将它们连接起来，得到多尺度的时间表示法$X(t)=[x_{long},x_{typical},x_{short}]$而结果是然后我们可以使用通常的ESN输出层的计算方法相同。

$y(t)=f_{out}(W_{out}X(t))$

实验结果

实验以两个时间序列预测为基准月度太阳黑子ǞǞǞ洛伦兹和真实的工厂电力负荷数据。

预测准确性

评价指标是MSE，在NRMSE和SMAPEMSE、NRMSE和SMAPE。比较方法是开头介绍的经典方法FNN，和SVR，以及矩阵（RNNLSTMLSTM和ESN方法论的基础是$varphi$-ESNs和R$^2$SP, R$^2$SPMESMDeepESNsDeepESNM-ESNsM-ESNsM-ESNsM-ESNs是LS-ESNs的全部 3所有三层典型的水库方法。首先月度太阳黑子在洛伦兹结果按以下顺序介绍。

月度太阳黑子的NRMSE不包括5除了月太阳黑子的NRMSE外，建议的方法在所有五个指标中都记录了最佳的准确性。FNN和SVR由于其预测准确率低，所以排除了。另外，比较实际的预测结果（见下文）。ESN派生方法能够预测，但LS-ESNs在预测蓝色勾勒出的非光滑和复杂区域方面表现较好。这表明，捕捉多尺度的时间特征可以提高复杂局部模式的预测性能。

用来预测实际工厂用电负荷的大多数指标也显示出最小的误差。由于有大量的数据，本文将重点讨论MSE结果显示如下。这些数据是1号~10号并且每个人都有不同的趋势，如下图所示。可以说，多尺度特征的优势在于，对于具有这种不同行为的每个数据集来说，误差可以最小化。

记忆容量的分析

在本节中LS-ESNs的内存容量。使用的数据是一个从每个时间步长[-0.8,0.8]中均匀采样的单变量时间序列。然后的任务是重建信号。每个时间步骤的目标值表示为$y_k（t）=u（t-k）$。用于比较医学会得分(内存容量得分)定义如下，以评估其对输入时间序列信息的反映程度。

$MC=\displaystyle sum_{k=0}^{infty}r^2 (u(t-k), y_k(t))$

其中$r^2(u(t-k),y_k(t))$是输入$u(t-k)$与延迟$k$的重构值$y_k(t)$之间的平方相关系数。

结果如上图所示。LS-ESNs获得了比现有研究的deepESNs和使用传统ESNs的模型更高的MC分数。特别是$k=8$的LS-ESNs，记录了最高的MC分数，比现有的研究显示了大约30%的改进。

消融研究

长期水库和短期水库我们消除了一个或两个模型，并比较了模型的效果。从电力负荷预测数据来看2随机使用了来自电力负荷预测数据的数据。

当两个模型都包括在内时，获得了最好的结果，而只使用其中的一个模型则提高了准确性。此外短期水库而不是长期水库长期特征的重要性是显而易见的。

超参数的影响

LS-ESNs在长期水库跳过步骤$k$在短期水库短期依赖范围$m$在短期的水库中。首先，我们考虑的是对于$k$来说为通过增加$k$的值我们可以捕捉到长期的依赖性。然而，如果它太大，你会忽略很多信息，如果它太小，你将无法捕捉到长期的周期性。因此，重要的是选择一个值为$k$的值更适合于数据的特点。这在下图中有所说明(a)的。月度太阳黑子下面（a）中的结果。由于这个数据集的周期性$k$增加，则MSE价值也得到改善。下一步是设置$m$对于有剧烈的非周期性波动的数据集，设置为一个较小的值，以便MSE得到了改善。在下图中(c)第4号(c) 下图中的第4号是一个工厂的电力负荷预测数据集，如上图所示，它没有周期性。对于这种数据，事实表明，短期特征的建模是有效的。