N-BEATS：神經網絡底層擴展分析，用於可解釋的時間序列預測
題目：
N-BEATS: Neural basis expansion analysis for interpretable time series forecasting
Boris N. Oreshkin, Dmitri Carpov, Nicolas Chapados, Yoshua Bengio
Computer Vision and Pattern Recognition (cs.CV)
ICLR 2020
Submitted on 25 Jul 2019 (v1), last revised 8 Apr 2020 (this version, v4)
文檔鏈接：
https://openreview.net/pdf?id=r1ecqn4YwB
代碼鏈接：
https://github.com/amitesh863/nbeats_forecast
摘要
我們專注於使用深度學習來解決單變量時間序列點預測問題。我們提出了一種基於神經網絡的深層神經結構，該結構基於向前和向後的殘差鏈接以及非常深的全連接層堆棧。該體系結構具有許多理想的屬性，這些屬性可以解釋，可以在不修改大量目標域的情況下適用，並且訓練迅速。我們在幾個著名的數據集上測試了提議的體系結構，包括M3，M4和TOURISM競賽數據集，其中包含來自不同領域的時間序列。我們展示了針對所有數據集的兩種N-BEATS配置的最新性能，與統計基準相比，預測準確性提高了11％，與去年M4競賽的獲勝者相比，提高了3％，在神經網絡和統計時間序列模型之間進行領域調整的手工混合。我們模型的第一個配置未使用任何特定於時間序列的組件，並且其在異構數據集上的性能強烈表明，與公認的知識相反，深度學習原語（例如殘差塊）本身足以解決各種預測問題。最後，我們演示瞭如何擴展所建議的體系結構以提供可解釋的輸出，而不會造成準確性的重大損失。諸如殘差塊之類的深度學習原語本身就足以解決各種預測問題。最後，我們演示瞭如何擴展所建議的體系結構以提供可解釋的輸出，而不會造成準確性的重大損失。諸如殘差塊之類的深度學習原語本身就足以解決各種預測問題。最後，我們演示瞭如何擴展所建議的體系結構以提供可解釋的輸出，而不會造成準確性的重大損失。
英文原文
We focus on solving the univariate times series point forecasting problem using deep learning. We propose a deep neural architecture based on backward and forward residual links and a very deep stack of fully-connected layers. The architecture has a number of desirable properties, being interpretable, applicable without modification to a wide array of target domains, and fast to train. We test the proposed architecture on several well-known datasets, including M3, M4 and TOURISM competition datasets containing time series from diverse domains. We demonstrate state-of-the-art performance for two configurations of N-BEATS for all the datasets, improving forecast accuracy by 11% over a statistical benchmark and by 3% over last year's winner of the M4 competition, a domain-adjusted hand-crafted hybrid between neural network and statistical time series models. The first configuration of our model does not employ any time-series-specific components and its performance on heterogeneous datasets strongly suggests that, contrarily to received wisdom, deep learning primitives such as residual blocks are by themselves sufficient to solve a wide range of forecasting problems. Finally, we demonstrate how the proposed architecture can be augmented to provide outputs that are interpretable without considerable loss in accuracy.
N-BEATS結構
所提議的基本構建塊具有一個分支架構，如圖1(左)所示。在本節中，我們著重詳細描述第t個塊的操作（為簡便起見，在圖1中刪除了塊索引`）。第t個塊接受其各自的輸入x，並輸出兩個向量bx和by。對於模型中的第一個塊，其相應的x`是整體模型輸入的一定長度的歷史回溯窗口，以最後一次測量的觀測值結束
圖1:提議的架構。其基本構件是具有相關非線性的多層FC網絡。它預測基礎上擴張係數都向前,θ^f(預測)和落後,θ^b(展望)。塊被組織成堆疊使用雙重剩餘堆積原則。堆棧可以有共享的g^b和g^f層。預測以分級方式彙總。這使得構建一個具有可解釋輸出的深度神經網絡成為可能。
實驗結果
表1:在M4、M3、旅遊測試集上的性能，聚合在每個數據集上。為每個數據集指定評估指標;數值越低越好。括號中提供了每個數據集中的時間序列數量。
根據表1,N-BEATS在三個具有挑戰性的非重疊數據集上展示了最先進的性能，這些數據集包含來自非常不同領域的時間序列、採樣頻率和季節性。通用的N-BEATS模型使用盡可能少的先驗知識，沒有特徵工程，沒有縮放，也沒有內部的體系結構組件，這些組件可能被認為是特定於時間序列的。
因此，表1中的結果使我們得出這樣的結論:DL不需要統計方法或手工特徵工程和領域知識的支持，就可以在大量的TS預測任務中表現得非常好。
討論:N-BEATS與元學習的聯繫
元學習Meta-learning
元學習定義了一個內在的學習過程和一個外在的學習過程。內部學習過程是參數化、條件化或受外部學習過程影響的(Bengio et al.， 1991)。
典型的內學習和外學習是個體在動物的一生中學習，而內學習過程則是個體在幾代人的時間裡不斷進化。要了解這兩個層次，通常需要參考兩組參數，即在內部學習過程中修改的內部參數(如突觸權重)，及外部參數或元參數(如基因)只在外部學習過程中被修改。
N-BEATS可以通過以下類比作為元學習的一個實例。外部學習過程被封裝在整個網絡的參數中，通過梯度下降學習。內部學習過程封裝在一組基本構建模塊中，並進行修改底層 g f作為輸入的擴張係數θ f
圖2:通用配置和可解釋配置的輸出，M4數據集。每行是每個數據頻率的一個時間序列例子，從上到下(年:id Y3974，季度:id Q11588，月:id M19006，周:id W246，日:id D404，小時:id H344)。
為了方便起見，將行中的大小按實際時間序列的最大值進行標準化。(a)列顯示實際值(ACTUAL)、一般模型預測(FORECAST-G)和解釋模型預測(FORECAST-I)。列(b)和(c)分別顯示了通用模型的棧1和棧2的輸出;FORECAST-G是它們的總和。列(d)和(e)分別顯示可解釋模型的趨勢和季節性堆棧的輸出;FORECAST-I是它們的總和。
結論
我們提出並實證驗證了一種新的單變量TS預測體系結構。結果表明，該體系結構具有通用性、靈活性和良好的預測性能。我們將其應用於三個不重疊的挑戰性競爭數據集:M4、M3和旅遊業，並在兩種配置下展示了最先進的性能:通用和可解釋。這使我們能夠驗證兩個重要的假設:(i)一般的DL方法在不使用TS領域知識的異構單變量TS預測問題上表現得非常好，(ii)另外約束DL模型迫使其將預測分解為不同的人類可解釋輸出是可行的。我們還證明了DL模型可以以多任務的方式在多個時間序列上進行訓練，成功地傳遞和共享個體的學習。我們推測，N-BEATS的表現在一定程度上可以歸因於它進行了一種元學習的形式，對它進行更深入的研究應該是未來工作的主題。
閱讀更多 人工智能學術前沿 的文章
