GRU- ODE- bayes:間斷觀測時間序列的連續建模
題目：
GRU-ODE-Bayes: Continuous modeling of sporadically-observed time series
Edward De Brouwer, Jaak Simm, Adam Arany, Yves Moreau
Machine Learning (cs.LG)
https://arxiv.org/pdf/1905.12374v2.pdfAccepted at NeurIPS 2019, Vancouver, Canada
Submitted on 29 May 2019 (v1), last revised 28 Nov 2019 (this version, v2)
文檔鏈接：
http://papers.nips.cc/paper/9451-shallow-rnn-accurate-time-series-classification-on-resource-constrained-devices.pdf
代碼鏈接：
https://github.com/edebrouwer/gru_ode_bayes
摘要
對真實世界的多維時間序列進行建模具有挑戰性，因為這些時間序列是離散間斷的能觀察到的(即，採樣在時間和維度上都是不規則的)，例如臨床病人數據。為了解決這些挑戰，我們提出(1)一個門控遞歸單元的連續時間版本，基於最近的神經常微分方程(Chen et al.， 2018)和(2)一個處理離散觀測的貝葉斯更新網絡。我們將這兩個思想結合到我們的GRU-ODE - bayes方法中。然後，我們證明了所提出的方法為潛在過程編碼了一個連續的先驗，並且它可以準確地表示由多維隨機微分方程驅動的複雜過程的福克-普朗克動力學。此外，經驗評估表明，我們的方法在醫療保健和氣候預測方面的應用，在合成數據和真實數據方面都優於目前的技術水平。更重要的是，連續性先驗被證明是非常適合的樣本設置的數量少。
英文原文
Modeling real-world multidimensional time series can be particularly challenging when these are sporadically observed (i.e., sampling is irregular both in time and across dimensions)-such as in the case of clinical patient data. To address these challenges, we propose (1) a continuous-time version of the Gated Recurrent Unit, building upon the recent Neural Ordinary Differential Equations (Chen et al., 2018), and (2) a Bayesian update network that processes the sporadic observations. We bring these two ideas together in our GRU-ODE-Bayes method. We then demonstrate that the proposed method encodes a continuity prior for the latent process and that it can exactly represent the Fokker-Planck dynamics of complex processes driven by a multidimensional stochastic differential equation. Additionally, empirical evaluation shows that our method outperforms the state of the art on both synthetic data and real-world data with applications in healthcare and climate forecast. What is more, the continuity prior is shown to be well suited for low number of samples settings.
要點
GRU-ODE-Bayes
2.1 GRU-ODE推導
2.2 GRU-ODE的一般性質
2.3 GRU-Bayes
2.4 GRU-ODE-Bayes
以上部門內容數學功底要求很高，有需要的請深入研究
實驗
基準方法:
NeuralODE-VAE (Chen et al., 2018). We model the time derivative of the hidden representationas a 2-layer MLP. To take missingness across features into account, we add a mechanism to feed anobservation mask.
Imputation Methods. We implemented two imputation methods as described in Che et al. (2018): GRU-Simple and GRU-D.
Sequential VAEs (Krishnan et al., 2015, 2017). We extended the deep Kalman filter architecture byfeeding an observation mask and updating the loss function accordingly.
T-LSTM (Baytas et al., 2017). We reused the proposed time-aware LSTM cell to design a forecastingRNN with observation mask.
數據集：
電子健康記錄：電子健康記錄(EHR)分析是實現數據驅動的個性化醫療的關鍵(Lee et al.， 2017;Goldstein等人，2017;Esteva等人，2019)。
氣候預測：從短期天氣預報到長期預測或評估系統變化(如全球變暖)，氣候數據一直是時間序列分析的熱門應用。
實驗結果：
我們使用5折交叉驗證報告性能。
超參數(dropout和權值衰減)是使用內部的holdout驗證集(20%)選擇的，而性能是在遺漏的測試集(10%)上評估的。
兩個任務的性能指標(NegLL和MSE)。
與其他方法相比，GRU-ODE-Bayes更自然地處理零星數據，並能更好地對觀察到的特徵之間的動態和相關性進行建模，從而提高了這兩個數據集的性能。在這兩個數據集上，GRU-ODE-Bayes明顯優於所有其他方法。
各模型在各數據集上的性能評價指標結果：
結論
我們提出了一個結合兩種新技術的模型，即GRU -ODE和GRU - bayes，該模型允許將零星的觀測結果輸入一個描述數據概率分佈演化的連續ODE動態。此外，我們還展示了這種過濾方法具有吸引人的表示能力。最後，我們展示了GRU-ODE - bayes在合成數據和真實數據上的價值。此外，雖然我們的模型的離散版本在完整的MIMIC-III數據集上表現良好，但ODE公式的連續性在小樣本情況下尤其重要，這對於真實世界的臨床數據尤其重要，因為許多數據集的大小仍然相對適中。
在這項工作中，我們關注的是高斯觀測的時間序列數據。然而，格魯-奧德-貝葉斯也可以推廣到二項和多項觀測，因為其各自的負和kl散度在分析上是可處理的。這允許對離散和連續變量的零星觀測進行建模。
閱讀更多 人工智能學術前沿 的文章
