拓端tecdat|R语言中的神经网络预测时间序列：多层感知器（MLP）和极限学习机（ELM）数据分析报告

原文链接：http://tecdat.cn/?p=23485 

原文出处：拓端数据部落公众号

用于R语言的多层感知器（MLP）和极限学习机（ELM）进行时间序列预测。请注意，由于神经网络无法利用GPU处理，因此大型网络的训练速度往往很慢。与现有神经网络实现的不同之处在于，R可以自动设计具有合理预测性能的网络。这增加了神经网络的鲁棒性，但也有助于减少训练时间。

使用MLP进行预测

使用R软件包，您可以生成外推（单变量）预测，也可以包含解释变量。

单变量预测

最简单的形式，您只需输入要建模的时间序列。

1.  
   fit1 <- MLPfit(Air)
2.  
   print(fit1)

输出表明结果网络具有5个隐藏节点，对其进行了20次训练，并使用中位数运算组合了不同的预测。自动生成网络集合，其训练从不同的随机初始权重开始。此外，它提供了网络中包含的输入。

可以使用plot() 获得直观的摘要 。

plot(fit1)

灰色的输入节点是自回归，而洋红色的则是确定性输入（在这种情况下为季节性）。如果包括任何其他回归变量，它们将以浅蓝色显示。

该 MLP() 函数接受几个参数来微调生成的网络。该 hd 参数定义了固定数量的隐藏节点。如果是单个数字，则神经元排列在单个隐藏节点中。如果是矢量，则将它们排列成多层。

fit( hd = c(10,5))

稍后我们将介绍如何自动选择节点数。根据我的经验（以及来自文献的证据），预测单个时间序列的常规神经网络无法从多个隐藏层中获得更好效果。预测问题通常并不那么复杂！

reps 定义了使用多少次训练重复。如果您想训练一个单一的网络，则可以使用 reps=1，有大量结果证据表明这样效果一般。默认值 reps=20 是训练速度和性能之间的折衷，但是您可以承受的重复次数越多越好。当重新训练网络时，它们不仅有助于模型的性能，而且还有助于结果的稳定性。

lags 允许您选择网络考虑的自回归滞后。如果未提供此参数，则网络使用lag 1到lag  m，即序列的季节。

 lags=1:24

 keep=c(rep(TRUE,12), rep(FALSE,12)))

 lags=1:24, sel.lag=FALSE

在第一种情况下，滞后（1,2,4,7,8,9,10,11,12,13,18,21,23,24）被保留。在第二种情况下，保留所有1-12，其余13-24被测试是否保留。

神经网络在建模趋势方面并不出色。因此，在对趋势进行建模之前将其消除是很有用的。这由参数处理 difforder。如果 difforder=0 不执行任何差分。对于 diff=1，执行一阶差分。同样，如果 difforder=12 执行12阶差分。如果时间序列是具有季节性周期12的季节性序列，则这是季节性差异。

您可以同时执行 difforder=c(1,12) 或执行任何其他差分。如果 difforder=NULL 然后代码自动决定。如果存在趋势，则使用一阶差分。该序列还经过季节性测试。如果存在，则使用Canova-Hansen检验来确定这是确定性的还是随机的。如果是后者，则还会添加季节性差分。

确定性季节性可以使用季节性虚拟变量更好地建模。

隐藏的节点数可以使用参数预设。默认情况下，这使用验证样本（时间序列的20％）进行测试，或 type="cv" 使用5倍交叉验证。

auto.type="valid",hd.max=8

鉴于训练神经网络非常耗时，因此你可以重用已经指定/经过训练的网络。在以下示例中，我们将重用 fit1 到新的时间序列。

fit(x, model=fit1)

保留了的模型参数 fit1。如果您只想使用参数，但要对网络进行训练，则可以使用参数 retrain=TRUE。

观察两个设置之间的样本内MSE的差异。

最后，您可以使用省略号将参数直接传递给用于训练网络的 函数 ...。

要生成预测，我们使用函数forecast()，该函数 需要训练的网络对象和预测范围 h。

print(frc)

plot(frc)

预测图以灰色提供了所有集合的预测。

使用回归预测

让我们假设我们要使用确定性趋势来预测时间序列。首先，我们构造输入，然后对序列建模。

1.  
   z <- 1:(length()+24) # 我为预测增加了24个额外的观测值
2.  
   z <- cbind(z) # 把它转换成一个列数
3.  
   # 添加一个滞后0的回归因子，并强制它留在模型中
4.  
   difforder=0) # 不要让mlp()来删除随机趋势

输出反映了包含回归变量。这在带有浅蓝色输入的网络图中反映出来。

plot(fit4)

为了包括更多的滞后，我们扩展了 xreg.lags：

difforder=0,xreg=z,xreg.lags=list(1:12)

观察到网络中未包含任何变量。我们使用 xreg.keep 来强制包含这些变量。

difforder=0,xreg=z,xreg.lags=list(1:12),xreg.keep=list(c(rep(TRUE,3),rep(FALSE,9)

显然，神经网络不喜欢确定性趋势！如果我们强制执行，它只会保留它。为此，我将尝试tsutils 包。

1.  
    
2.  
   zz <- cbind(z, 0)
3.  
   zz[loc,2] <- 1
4.  
   fitxreg.lags=list(c(0:6),0),xreg.keep=list(rep(FALSE,7),TRUE)

显然，您可以包含任意数量的回归变量。

为了产生预测，我们使用 forecast() 函数，但现在使用 xreg 输入。方法是从网络训练期间使用的相同观察值开始输入回归变量，并根据需要扩展预测范围。您

frc.reg <- forecast(fit5,xreg=zz)

ELM的预测

使用极限学习机（EML）。默认情况下，ELM从一个非常大的隐藏层（100个节点）开始，并根据需要对其进行修剪。

print(fit6)

plot(fit6)

网络图有一些黑线和一些灰线。后者被修剪。装有20个网络（由参数控制 reps）。每个网络可能具有不同的最终连接。

1.  
   par(mfrow=c(2,2))
2.  
   for (i in 1:4){plot(fit6,i)}
3.  
   par(mfrow=c(1,1))

修剪的方式由参数控制。默认选项是使用LASSO回归（类型=“套索LASSO”）。或者，可以使用“ ridge”进行岭回归，使用“ step”进行逐步OLS，使用“ lm”获得OLS解决方案而不进行修剪。

要进行预测，使用forecast() 。

forecast(fit6,h=12)

时间层次结构

实现时间层次结构mlp和elm。

1.  
    
2.  
   par(mfrow=c(1,2))
3.  
   plot(thiMLP)
4.  
   plot(thiELM)
5.  
   par(mfrow=c(1,1))

这应该使您可以进行神​​经网络的时间序列预测。

---

最受欢迎的见解

1.用于NLP的Python：使用Keras的多标签文本LSTM神经网络分类

2.Python中利用长短期记忆模型LSTM进行时间序列预测分析 – 预测电力消耗数据

3.python在Keras中使用LSTM解决序列问题

4.Python中用PyTorch机器学习分类预测银行客户流失模型

5.R语言多元Copula GARCH 模型时间序列预测

6.在r语言中使用GAM（广义相加模型）进行电力负荷时间序列分析

7.R语言中ARMA，ARIMA（Box-Jenkins），SARIMA和ARIMAX模型用于预测时间序列数

8.R语言估计时变VAR模型时间序列的实证研究分析案例

9.用广义加性模型GAM进行时间序列分析