題目：

DSANet: Dual Self-Attention Network for Multivariate Time

Series Forecasting

Siteng Huang，Donglin Wang∗，Xuehan Wu，Ao Tang

Machine Learning (cs.LG)

CIKM ’19, November 3–7, 2019, Beijing, China

文檔鏈接：

https://kyonhuang.top/files/Huang-DSANet.pdf

代碼鏈接：

https://github.com/bighuang624/DSANet

摘要

多元時間序列預測在系統、交通、金融等領域受到廣泛關注。任務的難點在於傳統的方法無法捕捉時間步長和多個時間序列之間複雜的非線性依賴關係。近年來，遞歸神經網絡和注意機制被廣泛應用於多時間步長的週期性時間模式的建模。然而，這些模型不適用於動態週期模式或非週期模式的時間序列。本文提出了一種雙關注網絡(DSANet)來進行高效的多變量時間序列預測，特別適用於動態週期或非週期序列。DSANet完全不需要遞歸，而是利用兩個並行的卷積分量，即全局時域卷積和局部時域卷積，來捕獲全局和局部時域模式的複雜混合。此外，DSANet還使用了一個自我關注模塊來對多個系列之間的依賴關係進行建模。為了進一步提高魯棒性，DSANet還集成了一個與非線性神經網絡並行的傳統自迴歸線性模型。對真實世界多變量時間序列數據的實驗表明，該模型是有效的，性能優於基線。

英文原文

Multivariate time series forecasting has attracted wide attention in areas, such as system, traffic, and finance. The difficulty of the task lies in that traditional methods fail to capture complicated nonlinear dependencies between time steps and between multiple time series. Recently, recurrent neural network and attention mechanism have been used to model periodic temporal patterns across multiple time steps. However, these models fit not well for time series with dynamic-period patterns or nonperiodic patterns. In this paper, we propose a dual self-attention network (DSANet) for highly efficient multivariate time series forecasting, especially for dynamic-period or nonperiodic series. DSANet completely dispenses with recurrence and utilizes two parallel convolutional components, called global temporal convolution and local temporal convolution, to capture complex mixtures of global and local temporal patterns. Moreover, DSANet employs a self-attention module to model dependencies between multiple series. To further improve the robustness, DSANet also integrates a traditional autoregressive linear model in parallel to the non-linear neural network. Experiments on realworld multivariate time series data show that the proposed model is effective and outperforms baselines.

要點

為了對多元時間序列進行準確、穩健的預測，我們提出了一種雙自注意網絡(DSANet)，用於在沒有外生信息的情況下進行高效的多元時間序列預測。在DSANet中，我們首先將每個單變量時間序列獨立地注入兩個並行的卷積分量，分別稱為全局時域卷積和局部時域卷積，從而對全局和局部時域模式的複雜混合進行建模。接下來，將每個卷積組件的學習時間序列表示輸入到一個單獨的自我注意模塊中，目的是學習不同序列之間的依賴關係。為了進一步提高魯棒性，將自迴歸線性模型與DSANet的非線性注意網絡並行集成。

相關工作（基線方法）

1.統計線性方法：向量自迴歸(VAR)模型

2.非線性關係方法：LRidge、LSVR[和Gaussian process (GP)。

3.神經網絡模型：LSTM或GRU的遞歸神經網絡，遞歸跳躍層(LSTNet-S)、時間注意層(LSTNet-A)，時間模式注意機制(TPA)。

模型結構圖

圖1概述了我們提出的DSANet。DSANet利用兩個卷積結構，即全局時域卷積和局部時域卷積，將X中的每個單變量序列嵌入到兩個具有不同尺度時間信息的表示向量中。