近期和遠期的預測信息融合的預測提升方法
題目：
Towards Better Forecasting by Fusing Near and Distant Future Visions
Jiezhu Cheng, Kaizhu Huang, Zibin Zheng
Machine Learning (cs.LG)
Accepted by AAAI 2020
Submitted on 11 Dec 2019
文檔鏈接：
https://arxiv.org/pdf/1912.05122v1.pdf
代碼鏈接：
https://github.com/smallGum/MLCNN-Multivariate-Time-Series
摘要
多元時間序列預測是機器學習中一個重要而又具有挑戰性的問題。現有的方法大多隻預測一個未來時刻的序列值，忽略了不同時間週期下未來時刻預測之間的相互作用。這種相互作用可能會導致模型無法獲得足夠多的關於未來的信息，從而影響了預測的準確性。為了解決這一問題，我們提出了多層次可解釋的神經網絡(MLCNN)，這是一種新的多任務深度學習框架。該模型受心理學解釋理論的啟發，通過融合不同的未來時間週期下的預測信息(即，未來的願景)。我們首先使用卷積神經網絡來提取原始數據的多層抽象表示，用於近期和遠期的預測。然後，我們對多個預測任務之間的相互作用進行建模，並通過一個改進的編碼-解碼器架構融合它們的未來願景。最後，將傳統的自迴歸模型與神經網絡相結合來解決尺度不敏感問題。對三個真實數據集的實驗表明，與最先進的基線方法相比，我們提出方法的精度有顯著的提升，RMSE指標平均減少4.59%，MAE指標平均減少6.87%。
英文原文
Multivariate time series forecasting is an important yet challenging problem in machine learning. Most existing approaches only forecast the series value of one future moment, ignoring the interactions between predictions of future moments with different temporal distance. Such a deficiency probably prevents the model from getting enough information about the future, thus limiting the forecasting accuracy. To address this problem, we propose Multi-Level Construal Neural Network (MLCNN), a novel multi-task deep learning framework. Inspired by the Construal Level Theory of psychology, this model aims to improve the predictive performance by fusing forecasting information (i.e., future visions) of different future time. We first use the Convolution Neural Network to extract multi-level abstract representations of the raw data for near and distant future predictions. We then model the interplay between multiple predictive tasks and fuse their future visions through a modified Encoder-Decoder architecture. Finally, we combine traditional Autoregression model with the neural network to solve the scale insensitive problem. Experiments on three real-world datasets show that our method achieves statistically significant improvements compared to the most state-of-the-art baseline methods, with average 4.59% reduction on RMSE metric and average 6.87% reduction on MAE metric.
要點
我們研究了近期和遠期願景的融合是否可以提高主要預測任務的性能，如圖1所示。
本文的貢獻主要有以下三點：
(1)基於人類預測行為的識解層次理論，設計了一種有效的抽取共享機制來構建和融合不同預測任務的未來願景，並證明了該機制對主要預測任務的改進能力.
(2)我們開發了一種新的多任務深度學習模型，該模型具有良好的多變量時間序列預測泛化能力.
(3)我們在三個真實世界的數據集上進行了廣泛的實驗，並展示了我們的模型相對於最先進的基線方法的優勢，在公共數據集上展示了新的基準。我們模型的所有數據和實驗代碼都可以在Github1上找到.
https://github.com/smallGum/MLCNN-Multivariate-Time-Series
相關工作:
從以下三方面總結了領域內各位學者的研究成果。
1.Time Series Forecasting 時間序列預測
2.Construal Level Theory 解釋水平理論
3.Multi-Task Deep Learning 多任務深度學習理論
模型結構：
它首先利用卷積神經網絡(CNN) (Lecun et al. 1998)從原始時間序列中提取多層特徵抽象，並將其用於多個預測任務。接下來，將提取的抽象輸入到共享長短期內存(LSTM)中(Hochreiter和Schmidhuber 1997)，該內存捕獲時間序列的複雜長期依賴性，並融合不同預測任務的未來願景。此外，我們還為主預測任務設計了另一個主LSTM，利用主任務的特徵抽象和共享信息來進行更準確的預測。
基線方法
1.VAR (Box和Jenkins 1970;漢密爾頓1994):著名的多元時間序列預測的向量自迴歸模型。
2.RNN-LSTM (Hochreiter and Schmidhuber 1997):使用LSTM單元的遞歸神經網絡。我們結合LSTM層和稠密層來進行多元時間序列預測。
3.MTCNN (Lecun et al. 1998):經典卷積神經網絡利用了相同的多任務思想MLCNN模型。我們使用一個簡單的多層CNN來執行多個不同未來時間的預測任務。
4.AECRNN (Cirstea et al. 2018):一種多任務學習模型，將附加的自動編碼器與卷積和遞歸神經網絡的統一框架相結合。AECRNN最初是為了在其他相關時間序列的情況下進行單變量時間序列預測而設計的。將該模型推廣到多元時間序列預測中，並與本文提出的多任務學習框架進行了比較。
5.LSTNet (Lai et al. 2017):一種新型的多元時間序列預測框架，通過捕捉時間序列數據的長期和短期模式來實現性能的大幅提升。
實驗
各模型在各數據集上的性能評價指標結果：
MAE比較結果：
結論
在這篇論文中，我們提出了一個新的多任務深度學習框架(MLCNN)來預測多元時間序列。在第一個層次，基於心理學的識解層次理論，我們設計了一個多層卷積神經網絡來為多個預測任務生成多層抽象識解。在第二層，我們設計了一個融合編碼器-主-解碼器架構來融合所有任務的未來願景。此外，我們將自迴歸模型與神經網絡相結合，以提高預測性能。在三個真實數據集上的實驗表明，我們的模型在兩個度量(RMSE和MAE)方面達到了對5個基線的最佳性能。此外，通過深入分析，我們證明了MLCNN架構的有效性和魯棒性。
閱讀更多 人工智能學術前沿 的文章
