MTGODE笔记.pdf

MTGODE

预备知识：

Neural Ordinary Differential Equations神经元常微分方程：(神经网络常微分方程 (Neural ODEs) 解析)

通过推广离散深度神经网络引入了一种新的连续时间模型范式。以 层残差网络为例，可以用公式表示

如下：

R. T. Chen, Y. Rubanova, J. Bettencourt, and D. Duvenaud, “Neural ordinary differential

equations,” in NIPS, 2018, pp. 6572–6583.

解释：第一个方程是一个递归公式，它在每个时间步更新模型的隐藏状态。 它由两项组成：当前隐藏状

如果我们插入更多的层并采取更小的积分步骤，那么我们可以直接参数化和近似潜在状态的连续演化，

这形成了神经常微分方程（NODE）的基本思想：

这里令 ,省略

本文采用新型时间聚合机制，加上简化的连续图传播，学习潜在的时间动态信息。

更多看node和GCN结合实例

问题定义：

介绍多变量时间序列的表示学习问题，即单步和多步预测；

给定的多元时间序列

从 中采样 历史时序的序列

可学习的邻接矩阵

定义CGP过程时的积分时间和步长

定义CTA过程时的积分时间和步长



设 表示一个具有 个变量、 个特征维数和 个时间步长的多元时间序列,

其中 和 表示具有学习到的最佳参数的编码器和解码器

对于单步预测：

对于多步预测：

代表特定的预测范围

表示所提出的模型 MTGODE 的目标函数，用于多元时间序列预测。 目标函数被最小化以获得函数 和

的最优值。

函数 将一系列多元时间序列数据作为输入，用 X 表示，从时间 t+1 到 t+T，并输出潜在状态表示。

函数 将潜在状态表示作为输入并产生预测输出，用 Y 表示。函数 g 应用于函数 f 的输出以获得最终预

测。

具体过程如下：

结构： CGP

给定邻接矩阵 和初始状态

的公式(离散形式)为：

表示归一化邻接矩阵， 是输出表示， 是可训练参数矩阵。

积分时间：

步长：