GRU- ODE- bayes:间断观测时间序列的连续建模
题目：
GRU-ODE-Bayes: Continuous modeling of sporadically-observed time series
Edward De Brouwer, Jaak Simm, Adam Arany, Yves Moreau
Machine Learning (cs.LG)
https://arxiv.org/pdf/1905.12374v2.pdfAccepted at NeurIPS 2019, Vancouver, Canada
Submitted on 29 May 2019 (v1), last revised 28 Nov 2019 (this version, v2)
文档链接：
http://papers.nips.cc/paper/9451-shallow-rnn-accurate-time-series-classification-on-resource-constrained-devices.pdf
代码链接：
https://github.com/edebrouwer/gru_ode_bayes
摘要
对真实世界的多维时间序列进行建模具有挑战性，因为这些时间序列是离散间断的能观察到的(即，采样在时间和维度上都是不规则的)，例如临床病人数据。为了解决这些挑战，我们提出(1)一个门控递归单元的连续时间版本，基于最近的神经常微分方程(Chen et al.， 2018)和(2)一个处理离散观测的贝叶斯更新网络。我们将这两个思想结合到我们的GRU-ODE - bayes方法中。然后，我们证明了所提出的方法为潜在过程编码了一个连续的先验，并且它可以准确地表示由多维随机微分方程驱动的复杂过程的福克-普朗克动力学。此外，经验评估表明，我们的方法在医疗保健和气候预测方面的应用，在合成数据和真实数据方面都优于目前的技术水平。更重要的是，连续性先验被证明是非常适合的样本设置的数量少。
英文原文
Modeling real-world multidimensional time series can be particularly challenging when these are sporadically observed (i.e., sampling is irregular both in time and across dimensions)-such as in the case of clinical patient data. To address these challenges, we propose (1) a continuous-time version of the Gated Recurrent Unit, building upon the recent Neural Ordinary Differential Equations (Chen et al., 2018), and (2) a Bayesian update network that processes the sporadic observations. We bring these two ideas together in our GRU-ODE-Bayes method. We then demonstrate that the proposed method encodes a continuity prior for the latent process and that it can exactly represent the Fokker-Planck dynamics of complex processes driven by a multidimensional stochastic differential equation. Additionally, empirical evaluation shows that our method outperforms the state of the art on both synthetic data and real-world data with applications in healthcare and climate forecast. What is more, the continuity prior is shown to be well suited for low number of samples settings.
要点
GRU-ODE-Bayes
2.1 GRU-ODE推导
2.2 GRU-ODE的一般性质
2.3 GRU-Bayes
2.4 GRU-ODE-Bayes
以上部门内容数学功底要求很高，有需要的请深入研究
实验
基准方法:
NeuralODE-VAE (Chen et al., 2018). We model the time derivative of the hidden representationas a 2-layer MLP. To take missingness across features into account, we add a mechanism to feed anobservation mask.
Imputation Methods. We implemented two imputation methods as described in Che et al. (2018): GRU-Simple and GRU-D.
Sequential VAEs (Krishnan et al., 2015, 2017). We extended the deep Kalman filter architecture byfeeding an observation mask and updating the loss function accordingly.
T-LSTM (Baytas et al., 2017). We reused the proposed time-aware LSTM cell to design a forecastingRNN with observation mask.
数据集：
电子健康记录：电子健康记录(EHR)分析是实现数据驱动的个性化医疗的关键(Lee et al.， 2017;Goldstein等人，2017;Esteva等人，2019)。
气候预测：从短期天气预报到长期预测或评估系统变化(如全球变暖)，气候数据一直是时间序列分析的热门应用。
实验结果：
我们使用5折交叉验证报告性能。
超参数(dropout和权值衰减)是使用内部的holdout验证集(20%)选择的，而性能是在遗漏的测试集(10%)上评估的。
两个任务的性能指标(NegLL和MSE)。
与其他方法相比，GRU-ODE-Bayes更自然地处理零星数据，并能更好地对观察到的特征之间的动态和相关性进行建模，从而提高了这两个数据集的性能。在这两个数据集上，GRU-ODE-Bayes明显优于所有其他方法。
各模型在各数据集上的性能评价指标结果：
结论
我们提出了一个结合两种新技术的模型，即GRU -ODE和GRU - bayes，该模型允许将零星的观测结果输入一个描述数据概率分布演化的连续ODE动态。此外，我们还展示了这种过滤方法具有吸引人的表示能力。最后，我们展示了GRU-ODE - bayes在合成数据和真实数据上的价值。此外，虽然我们的模型的离散版本在完整的MIMIC-III数据集上表现良好，但ODE公式的连续性在小样本情况下尤其重要，这对于真实世界的临床数据尤其重要，因为许多数据集的大小仍然相对适中。
在这项工作中，我们关注的是高斯观测的时间序列数据。然而，格鲁-奥德-贝叶斯也可以推广到二项和多项观测，因为其各自的负和kl散度在分析上是可处理的。这允许对离散和连续变量的零星观测进行建模。
閱讀更多 人工智能學術前沿 的文章
