AR 模型的统计特性（Green 函数、ACF 与 PACF）

在确认 \(\text{AR}(p)\) 模型满足平稳性条件（特征根 \(|\lambda_i| < 1\)）的前提下，本节系统推导平稳 \(\text{AR}(p)\) 序列的五大统计特性：均值、Green 函数与传递形式、方差、自协方差与自相关系数（ACF）以及偏自相关系数（PACF）。

均值与中心化变换

平稳 \(\text{AR}(p)\) 模型的均值

设非中心化平稳 \(\text{AR}(p)\) 模型为：

对等式两边同时取数学期望 \(E(\cdot)\)。由于序列平稳，对一切时刻有 \(E(x_t) = E(x_{t-1}) = \cdots = E(x_{t-p}) = \mu\)，且 \(E(\varepsilon_t) = 0\)，故：

由于模型平稳，\(1 - \sum_{i=1}^p \varphi_i = \Phi(1) = \prod_{i=1}^p (1 - \lambda_i) \ne 0\)，移项解得平稳 \(\text{AR}(p)\) 序列的均值公式：

• 重要特例：当 \(\varphi_0 = 0\)（中心化平稳 \(\text{AR}(p)\) 模型）时，必有 \(\mu = E(x_t) \equiv 0\)。

\(\text{AR}(p)\) 序列的中心化变换

若 \(\varphi_0 \ne 0\)，令中心化序列 \(y_t = x_t - \mu\)，将 \(x_{t-i} = y_{t-i} + \mu\) 代入原方程，常数项 \(\varphi_0\) 与 \((1 - \sum \varphi_i)\mu\) 恰好完全抵消，化为标准中心化 \(\text{AR}(p)\) 模型：

因此，以下研究方差、自协方差、ACF 与 PACF 时，只需针对中心化 \(\text{AR}(p)\) 模型（\(\mu = 0\)）进行推导。

传递形式与 Green 函数（格林函数）

从 \(\text{AR}(1)\) 认识方差与传递形式

对中心化平稳 \(\text{AR}(1)\) 模型 \(x_t = \varphi_1 x_{t-1} + \varepsilon_t\ (|\varphi_1| < 1)\)：

• 直接求方差：由于 \(\varepsilon_t\) 与 \(x_{t-1}\) 独立，两边直接取方差 \(D(x_t) = \varphi_1^2 D(x_{t-1}) + D(\varepsilon_t)\)，结合平稳性 \(D(x_t) = D(x_{t-1}) = \gamma_0\)，立刻解得：

  \[ \gamma_0 = \operatorname{Var}(x_t) = \frac{\sigma^2}{1 - \varphi_1^2} \]

  ( 隐含条件：由方差正定性 \(\gamma_0 > 0\) 也直接要求 \(1 - \varphi_1^2 > 0 \iff |\varphi_1| < 1\)！)

• 算子泰勒级数展开（传递形式）： 利用延迟算子将 \(\text{AR}(1)\) 写为 \((1 - \varphi_1 B)x_t = \varepsilon_t\)。当 \(|\varphi_1| < 1\) 时，将 \((1 - \varphi_1 B)^{-1}\) 按无穷等比级数（泰勒级数）展开：

  \[ x_t = \frac{1}{1 - \varphi_1 B}\varepsilon_t = \left(\sum_{j=0}^\infty \varphi_1^j B^j\right)\varepsilon_t = \sum_{j=0}^\infty \varphi_1^j \varepsilon_{t-j} = \varepsilon_t + \varphi_1 \varepsilon_{t-1} + \varphi_1^2 \varepsilon_{t-2} + \cdots \]

  这一变换把原本前后相关的平稳序列 \(\{x_t\}\) 表示成了互不相关的纯随机白噪声序列 \(\{\varepsilon_{t-j}\}\) 的无穷线性组合，称为模型的传递形式（Transfer Form / Wold 表示）。

Green 函数 \(G_j\) 的定义与物理意义

Green 函数的两种求解方法

利用传递形式求方差

由于传递形式 \(x_t = \sum_{j=0}^\infty G_j \varepsilon_{t-j}\) 中各项白噪声 \(\varepsilon_{t-j}\) 两两不相关，直接逐项求方差可得：

( 注：对于 \(\text{AR}(1)\)，\(G_j = \varphi_1^j\)，故 \(\gamma_0 = \sigma^2 \sum_{j=0}^\infty \varphi_1^{2j} = \frac{\sigma^2}{1-\varphi_1^2}\)；但对于 \(\text{AR}(2)\) 及更高阶模型，无穷级数 \(\sum G_j^2\) 求和较繁琐，课堂上老师更推荐使用下面的自协方差递推方程联立法求方差 \(\gamma_0\)！)

自协方差函数与自相关系数（ACF）

自协方差递推算式（Yule-Walker 方程）

在中心化平稳 \(\text{AR}(p)\) 方程 \(x_t = \varphi_1 x_{t-1} + \varphi_2 x_{t-2} + \cdots + \varphi_p x_{t-p} + \varepsilon_t\) 两边同时乘以 \(x_{t-k}\ (k \ge 0)\) 并取数学期望 \(E(\cdot)\)：

注意到当期的白噪声 \(\varepsilon_t\) 与过去的历史值 \(x_{t-k}\ (k \ge 1)\) 不相关，且当 \(k = 0\) 时 \(E(\varepsilon_t x_t) = E\big[\varepsilon_t(\varphi_1 x_{t-1} + \cdots + \varepsilon_t)\big] = E(\varepsilon_t^2) = \sigma^2\)，即：

由此得到极为重要的 \(\text{AR}(p)\) 自协方差函数递推方程组：

自相关系数（ACF）递推方程与典型公式

将自协方差递推式 \(k \ge 1\) 两边同时除以方差 \(\gamma_0\)（注意 \(\rho_0 \equiv 1\)，且 \(\rho_{-m} = \rho_m\)），立即得到 \(\text{AR}(p)\) 自相关系数的 Yule-Walker 递推方程：

( 若用 Green 函数表示，则有 \(\gamma_k = \sigma^2 \sum_{j=0}^\infty G_j G_{j+k}\)，\(\rho_k = \frac{\sum_{j=0}^\infty G_j G_{j+k}}{\sum_{j=0}^\infty G_j^2}\)。)

平稳 \(\text{AR}(p)\) 自相关系数的三大性质与四种衰减形态

由于 \(\rho_k - \varphi_1 \rho_{k-1} - \cdots - \varphi_p \rho_{k-p} = 0\ (k \ge 1)\) 是与原模型具有相同特征方程的齐次线性差分方程，其通解为特征根幂次的线性组合 \(\rho_k = \sum_{i=1}^p d_i \lambda_i^k\ (|\lambda_i| < 1)\)。由此决定平稳 \(\text{AR}(p)\) 模型的自相关系数具有三大核心性质：

1. 短期相关性：当 \(k \to \infty\) 时 \(\rho_k \to 0\)，只有有限滞后阶数以内的相关性较强；
2. 呈指数衰减：\(|\rho_k|\) 随滞后阶数 \(k\) 的增大按指数速度收敛于 \(0\)；
3. 拖尾性（Tailing Off）：\(\rho_k\) 随 \(k\) 增大逐渐衰减趋于 \(0\)，但绝不会在某一有限阶 \(q\) 之后恒等于 \(0\)（这与下一节 \(\text{MA}(q)\) 模型自相关系数的“截尾性”形成鲜明对比）。

根据特征根 \(\lambda_i\) 的类型（正实根、负实根、共轭复根、混合根），\(\text{AR}\) 模型的自相关图（ACF）呈现出四种典型衰减形态：

偏自相关系数（PACF）与 \(p\) 阶截尾性

为什么要引入偏自相关系数？

在 \(\text{AR}(1)\) 模型 \(x_t = \varphi_1 x_{t-1} + \varepsilon_t\) 中，尽管 \(x_{t-2}\) 并未直接出现在方程中，但由于 \(x_t\) 与 \(x_{t-1}\) 相关、\(x_{t-1}\) 又与 \(x_{t-2}\) 相关，中间变量 \(x_{t-1}\) 充当了“传声筒”，导致自相关系数 \(\rho_2 = \varphi_1^2 \ne 0\)（一直拖尾下去）。这使得我们无法仅凭自相关系数 \(\rho_k\) 判断 \(\text{AR}(p)\) 模型的真实阶数 \(p\)！

为此，我们需要思考：如果把中间 \(k-1\) 个随机变量 \(x_{t-1}, x_{t-2}, \dots, x_{t-k+1}\) 的间接传递干扰全部剔除掉（假设它们已知 / 固定），单独衡量 \(x_{t-k}\) 对 \(x_t\) 的“直接”线性相关性，结果会如何？ 这就是偏自相关系数（Partial Autocorrelation Function, PACF）！

\(k\) 阶自回归拟合方程与条件期望推导（课堂板书精要）

直接按上述条件协方差定义计算极其繁琐。课堂上老师通过引入 \(k\) 阶自回归线性拟合方程，给出了一个极为漂亮的等价转化：

用过去 \(k\) 期的序列值 \(x_{t-1}, x_{t-2}, \dots, x_{t-k}\) 对当前值 \(x_t\) 作 \(k\) 阶线性自回归拟合：

用 Yule-Walker 方程与 Cramer 法则求解 \(\phi_{kk}\)

如何求解 \(k\) 阶拟合方程 \(x_t = \sum_{j=1}^k \phi_{kj} x_{t-j} + \varepsilon_t\) 中的未知系数 \(\phi_{k1}, \dots, \phi_{kk}\)？ 在方程两边分别乘以 \(x_{t-1}, x_{t-2}, \dots, x_{t-k}\)，取数学期望并同除以 \(\gamma_0\)，即得关于未知数 \((\phi_{k1}, \phi_{k2}, \dots, \phi_{kk})^T\) 的 \(k\) 阶 Yule-Walker 矩阵方程组：

$$ \begin{bmatrix} 1 & \rho_1 & \rho_2 & \cdots & \rho_{k-1} \ \rho_1 & 1 & \rho_1 & \cdots & \rho_{k-2} \ \rho_2 & \rho_1 & 1 & \cdots & \rho_{k-3} \ \vdots & \vdots & \vdots & \ddots & \vdots \ \rho_{k-1} & \rho_{k-2} & \rho_{k-3} & \cdots & 1 \end{bmatrix} \begin{bmatrix} \phi_{k1} \ \phi_{k2} \ \phi_{k3} \ \vdots \ \phi_{kk} \end{bmatrix} =

\begin{bmatrix} \rho_1 \ \rho_2 \ \rho_3 \ \vdots \ \rho_k \end{bmatrix} $$

由线性代数的 Cramer（克莱姆）法则，\(\phi_{kk} = \frac{|D_k|}{|D|}\)（其中 \(|D|\) 为系数矩阵行列式，\(|D_k|\) 为将系数矩阵最后一列替换为右侧常数列 \((\rho_1, \dots, \rho_k)^T\) 后的行列式）：

平稳 \(\text{AR}(p)\) 模型偏自相关系数的 \(p\) 阶截尾性

对于一个真实的 \(p\) 阶自回归模型 \(x_t = \sum_{i=1}^p \varphi_i x_{t-i} + \varepsilon_t\)，当我们用 \(k\) 阶拟合方程 \(\hat{x}_t = \sum_{i=1}^k \phi_{ki} x_{t-i}\) 去逼近 \(x_t\) 时，考察当 \(k \ge p\) 时的拟合均方误差 \(J\)：

为了使均方误差 \(J \ge \sigma^2\) 达到极小值 \(\sigma^2\)，最优拟合系数必然取：

• 对前 \(p\) 项（\(1 \le i \le p\)）：\(\phi_{ki} = \varphi_i\)；
• 对超出 \(p\) 阶的所有高阶项（\(p + 1 \le i \le k\)）：\(\phi_{ki} = 0\)！

由此立即导出平稳 \(\text{AR}(p)\) 模型偏自相关系数的核心定阶性质——\(p\) 阶截尾性（Cutoff after lag \(p\)）：

课堂综合大题精讲（期末必考核心题型）

下面完整整理课堂上老师留给同学们限时 10 分钟独立完成、并逐项精讲的 \(\text{AR}(2)\) 综合大题（对应课堂 笔记.md）：

Python 仿真：ACF 指数拖尾与 PACF \(p\) 阶截尾可视化

课件中使用 statsmodels.graphics.tsaplots 中的 plot_acf 与 plot_pacf 绘制样本自相关图与偏自相关图。以下脚本可直接复现上述课堂例题 \(\text{AR}(2)\) 模型的模拟样本及 ACF / PACF 图像：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

import numpy as np
import matplotlib.pyplot as plt
from statsmodels.tsa.arima_process import ArmaProcess
from statsmodels.graphics.tsaplots import plot_acf, plot_pacf

# 构造课堂例题 AR(2) 模型: x_t - 0.8 x_{t-1} + 0.15 x_{t-2} = e_t
# 注意 statsmodels 中 ar 多项式传入的是 Φ(B) = [1, -φ1, -φ2] 的系数
ar_params = np.array([1.0, -0.8, 0.15])
ma_params = np.array([1.0])
ar_process = ArmaProcess(ar_params, ma_params)

# 1. 验证理论平稳性、理论 ACF 与理论 PACF
print("模型是否平稳:", ar_process.isstationary)
print("理论 ACF (k=0..3):", np.round(ar_process.acf(lags=4), 4))
print("理论 PACF (k=0..3):", np.round(ar_process.pacf(lags=4), 4))

# 2. 生成 N=1000 的样本序列并绘制 ACF（拖尾）与 PACF（2阶截尾）
np.random.seed(42)
y = ar_process.generate_sample(nsample=1000)

fig, axes = plt.subplots(1, 2, figsize=(12, 4))
plot_acf(y, lags=20, ax=axes[0], title="AR(2) Sample ACF (Tailing Off)")
plot_pacf(y, lags=20, ax=axes[1], title="AR(2) Sample PACF (Cutoff after lag 2)")
plt.tight_layout()
plt.show()

评论