N-BEATS：神经网络底层扩展分析，用于可解释的时间序列预测
题目：
N-BEATS: Neural basis expansion analysis for interpretable time series forecasting
Boris N. Oreshkin, Dmitri Carpov, Nicolas Chapados, Yoshua Bengio
Computer Vision and Pattern Recognition (cs.CV)
ICLR 2020
Submitted on 25 Jul 2019 (v1), last revised 8 Apr 2020 (this version, v4)
文档链接：
https://openreview.net/pdf?id=r1ecqn4YwB
代码链接：
https://github.com/amitesh863/nbeats_forecast
摘要
我们专注于使用深度学习来解决单变量时间序列点预测问题。我们提出了一种基于神经网络的深层神经结构，该结构基于向前和向后的残差链接以及非常深的全连接层堆栈。该体系结构具有许多理想的属性，这些属性可以解释，可以在不修改大量目标域的情况下适用，并且训练迅速。我们在几个著名的数据集上测试了提议的体系结构，包括M3，M4和TOURISM竞赛数据集，其中包含来自不同领域的时间序列。我们展示了针对所有数据集的两种N-BEATS配置的最新性能，与统计基准相比，预测准确性提高了11％，与去年M4竞赛的获胜者相比，提高了3％，在神经网络和统计时间序列模型之间进行领域调整的手工混合。我们模型的第一个配置未使用任何特定于时间序列的组件，并且其在异构数据集上的性能强烈表明，与公认的知识相反，深度学习原语（例如残差块）本身足以解决各种预测问题。最后，我们演示了如何扩展所建议的体系结构以提供可解释的输出，而不会造成准确性的重大损失。诸如残差块之类的深度学习原语本身就足以解决各种预测问题。最后，我们演示了如何扩展所建议的体系结构以提供可解释的输出，而不会造成准确性的重大损失。诸如残差块之类的深度学习原语本身就足以解决各种预测问题。最后，我们演示了如何扩展所建议的体系结构以提供可解释的输出，而不会造成准确性的重大损失。
英文原文
We focus on solving the univariate times series point forecasting problem using deep learning. We propose a deep neural architecture based on backward and forward residual links and a very deep stack of fully-connected layers. The architecture has a number of desirable properties, being interpretable, applicable without modification to a wide array of target domains, and fast to train. We test the proposed architecture on several well-known datasets, including M3, M4 and TOURISM competition datasets containing time series from diverse domains. We demonstrate state-of-the-art performance for two configurations of N-BEATS for all the datasets, improving forecast accuracy by 11% over a statistical benchmark and by 3% over last year's winner of the M4 competition, a domain-adjusted hand-crafted hybrid between neural network and statistical time series models. The first configuration of our model does not employ any time-series-specific components and its performance on heterogeneous datasets strongly suggests that, contrarily to received wisdom, deep learning primitives such as residual blocks are by themselves sufficient to solve a wide range of forecasting problems. Finally, we demonstrate how the proposed architecture can be augmented to provide outputs that are interpretable without considerable loss in accuracy.
N-BEATS结构
所提议的基本构建块具有一个分支架构，如图1(左)所示。在本节中，我们着重详细描述第t个块的操作（为简便起见，在图1中删除了块索引`）。第t个块接受其各自的输入x，并输出两个向量bx和by。对于模型中的第一个块，其相应的x`是整体模型输入的一定长度的历史回溯窗口，以最后一次测量的观测值结束
图1:提议的架构。其基本构件是具有相关非线性的多层FC网络。它预测基础上扩张系数都向前,θ^f(预测)和落后,θ^b(展望)。块被组织成堆叠使用双重剩余堆积原则。堆栈可以有共享的g^b和g^f层。预测以分级方式汇总。这使得构建一个具有可解释输出的深度神经网络成为可能。
实验结果
表1:在M4、M3、旅游测试集上的性能，聚合在每个数据集上。为每个数据集指定评估指标;数值越低越好。括号中提供了每个数据集中的时间序列数量。
根据表1,N-BEATS在三个具有挑战性的非重叠数据集上展示了最先进的性能，这些数据集包含来自非常不同领域的时间序列、采样频率和季节性。通用的N-BEATS模型使用尽可能少的先验知识，没有特征工程，没有缩放，也没有内部的体系结构组件，这些组件可能被认为是特定于时间序列的。
因此，表1中的结果使我们得出这样的结论:DL不需要统计方法或手工特征工程和领域知识的支持，就可以在大量的TS预测任务中表现得非常好。
讨论:N-BEATS与元学习的联系
元学习Meta-learning
元学习定义了一个内在的学习过程和一个外在的学习过程。内部学习过程是参数化、条件化或受外部学习过程影响的(Bengio et al.， 1991)。
典型的内学习和外学习是个体在动物的一生中学习，而内学习过程则是个体在几代人的时间里不断进化。要了解这两个层次，通常需要参考两组参数，即在内部学习过程中修改的内部参数(如突触权重)，及外部参数或元参数(如基因)只在外部学习过程中被修改。
N-BEATS可以通过以下类比作为元学习的一个实例。外部学习过程被封装在整个网络的参数中，通过梯度下降学习。内部学习过程封装在一组基本构建模块中，并进行修改底层 g f作为输入的扩张系数θ f
图2:通用配置和可解释配置的输出，M4数据集。每行是每个数据频率的一个时间序列例子，从上到下(年:id Y3974，季度:id Q11588，月:id M19006，周:id W246，日:id D404，小时:id H344)。
为了方便起见，将行中的大小按实际时间序列的最大值进行标准化。(a)列显示实际值(ACTUAL)、一般模型预测(FORECAST-G)和解释模型预测(FORECAST-I)。列(b)和(c)分别显示了通用模型的栈1和栈2的输出;FORECAST-G是它们的总和。列(d)和(e)分别显示可解释模型的趋势和季节性堆栈的输出;FORECAST-I是它们的总和。
结论
我们提出并实证验证了一种新的单变量TS预测体系结构。结果表明，该体系结构具有通用性、灵活性和良好的预测性能。我们将其应用于三个不重叠的挑战性竞争数据集:M4、M3和旅游业，并在两种配置下展示了最先进的性能:通用和可解释。这使我们能够验证两个重要的假设:(i)一般的DL方法在不使用TS领域知识的异构单变量TS预测问题上表现得非常好，(ii)另外约束DL模型迫使其将预测分解为不同的人类可解释输出是可行的。我们还证明了DL模型可以以多任务的方式在多个时间序列上进行训练，成功地传递和共享个体的学习。我们推测，N-BEATS的表现在一定程度上可以归因于它进行了一种元学习的形式，对它进行更深入的研究应该是未来工作的主题。
閱讀更多 人工智能學術前沿 的文章
