多元时间序列预测 —— 向量自回归（VAR）

先来回忆一下单变量 ppp 阶自回归模型 AR(p)AR(p)AR(p)：

yt=w0+∑i=1pwiyt−i+ϵty_t = w_0 + \sum_{i=1}^p w_i y_{t-i} + \epsilon_t yt​=w0​+i=1∑p​wi​yt−i​+ϵt​

那么对于多变量情形，y∈Rn\mathbf{y} \in R^ny∈Rn，可以很自然地推广：

yt=b+∑i=1pWiyt−i+Et\mathbf{y}_t = \text{b} + \sum_{i=1}^p W_i \mathbf{y}_{t-i} + \text{E}_t yt​=b+i=1∑p​Wi​yt−i​+Et​

上式中 Wi∈Rn×n,Et,b∈RnW_i \in R^{n\times n}, \quad \text{E}_t,b \in R^nWi​∈Rn×n,Et​,b∈Rn.

怎么来计算参数 WiW_iWi​ 呢？

转化成优化问题：

min⁡Wi,b∑t∣∣yt−b−∑i=1pWiyt−i∣∣22\min_{W_i,b} \quad \sum_t\left|\left|\mathbf{y}_t - \text{b} - \sum_{i=1}^p W_i \mathbf{y}_{t-i}\right|\right|_2^2 Wi​,bmin​t∑​∣∣∣∣∣​∣∣∣∣∣​yt​−b−i=1∑p​Wi​yt−i​∣∣∣∣∣​∣∣∣∣∣​22​

甚至

min⁡Wi,b∑t∣∣yt−[bW1W2⋯Wp][1yt−1yt−2⋮yt−p]∣∣22\min_{W_i,b} \quad \sum_t\left|\left| \mathbf{y}_t -\left[ \begin{array}{ll} \text{b} & W_1 & W_2 & \cdots & W_p \end{array} \right] \left[ \begin{array}{l} 1\\ \mathbf{y}_{t-1} \\ \mathbf{y}_{t-2}\\ \vdots\\ \mathbf{y}_{t-p} \end{array} \right] \right|\right|_2^2 Wi​,bmin​t∑​∣∣∣∣∣∣∣∣∣∣∣​∣∣∣∣∣∣∣∣∣∣∣​yt​−[b​W1​​W2​​⋯​Wp​​]⎣⎢⎢⎢⎢⎢⎡​1yt−1​yt−2​⋮yt−p​​⎦⎥⎥⎥⎥⎥⎤​∣∣∣∣∣∣∣∣∣∣∣​∣∣∣∣∣∣∣∣∣∣∣​22​

这就简单了吧，直接最小二乘法求解即可。