本节内容主要整理自教材《Introduction to Econometrics 4th》James H. Stock & Mark W. Watson 中文译本王立勇 & 徐晓莉机械工业出版社 2023，部分内容整理自课后习题答案

1. 模型设定与假设

对于多元线性回归，可以用矩阵形式使表达更简洁，同时也可以使后续操作更清晰。具体的模型与假设如下：

$$ \begin{aligned} Y_i &= \boldsymbol{X}_i' \boldsymbol{\beta} + u_i \\ \boldsymbol{X}_i &= (1 \ X_{1i} \ X_{2i} \ ... \ X_{ki})' \\ \boldsymbol{\beta} &= (\beta_0 \ \beta_1 \ ... \ \beta_k)' \end{aligned} $$

基础假设：

假设1：$\text{E}(u_i|\boldsymbol{X}_i) = 0$

假设2：$(\boldsymbol{X}_i, Y_i)$为从其联合分布中抽取的独立同分布

假设3：$\boldsymbol{X}_i, u_i$具有非零有限四阶矩

假设4：$\boldsymbol{X}$为列满秩（不存在完全多重共线性）$X = (X_1' \ X_2' \ ... \ X_n')'$

扩展假设：

假设5：$\text{Var}(u_i|\boldsymbol{X_i}) = \sigma_u^2$

假设6：给定$\boldsymbol{X}_i$时，$u_i$的条件分布是正态分布

2. OLS估计量

为了使$\sum (Y_i - b_0-b_1X_{1i}-...-b_kX_{ki})^2$的值最小，对每个$b_j$求导，并使其等于0：

$$ \begin{aligned} \frac{\partial}{\partial b_j} &\sum (Y_i - b_0-b_1X_{1i}-...-b_kX_{ki})^2 \\ &= -2 \sum X_{ji}(Y_i - b_0-b_1X_{1i}-...-b_kX_{ki}) \\ &= 0 \end{aligned} $$

将$\boldsymbol{\hat{\beta}}$代入并将以上方程转换为矩阵语言为： $$ -2\boldsymbol{X}'(\boldsymbol{Y}-\boldsymbol{X}\boldsymbol{\hat{\beta}}) = \boldsymbol{0}_{k+1} \Longrightarrow \boldsymbol{\hat{\beta} = (\boldsymbol{X}\boldsymbol{X'})^{-1}X'Y} $$

此时，假设4中$\boldsymbol{X}$列满秩保证了$(\boldsymbol{X}'\boldsymbol{X})$列满秩，从而保证了$(\boldsymbol{X}'\boldsymbol{X})^{-1}$ 存在且方程的解唯一。

3. OLS估计量与$t$统计量的渐进分布

3.1 多元中心极限定理

一元和多元中心极限定理的区别在于方差的假设条件不同，一元要求方差非零且有限，而多元要求协方差矩阵是正定且有限的。可以证明，若向量型随机变量$\boldsymbol{W}$的协方差是正定且有限的，则对任意非零$m$维向量$\boldsymbol{c}$，有$0<\text{Var}(\boldsymbol{c}'\boldsymbol{W}) < \infty$。具体证明如下：

令$\boldsymbol{Q} = \boldsymbol{c}'\boldsymbol{W}$，

$$ \begin{aligned} \text{Var}(\boldsymbol{Q}) &= \text{E}((\boldsymbol{Q} - \boldsymbol{\mu_Q})(\boldsymbol{Q}- \boldsymbol{\mu_Q})') \\ &= \text{E}((\boldsymbol{c}'\boldsymbol{W} - \boldsymbol{c}'\boldsymbol{\mu_W})(\boldsymbol{c}'\boldsymbol{W} - \boldsymbol{c}'\boldsymbol{\mu_W})') \\ &= \boldsymbol{c}' \text{E}((\boldsymbol{W}- \boldsymbol{\mu_W})(\boldsymbol{W}- \boldsymbol{\mu_W})')\boldsymbol{c} \\ &= \boldsymbol{c}' \text{Var}(\boldsymbol{W}) \boldsymbol{c} \\ &= \boldsymbol{c}' \boldsymbol{\Sigma_W} \boldsymbol{c} \end{aligned} $$

由于$\boldsymbol{\Sigma_W}$是正定且有限的，$\boldsymbol{c} \neq \boldsymbol{0}_m$且是有限的，因此$0<\text{Var}(\boldsymbol{Q}) < \infty$。

多元中心极限定理

假设$\boldsymbol{W_1}, \boldsymbol{W_2},...,\boldsymbol{W_n}$为独立同分布的$m$维随机变量，均值向量为$\text{E}(\boldsymbol{W}_i) = \boldsymbol{\mu_W}$，协方差矩阵为$\text{E}((\boldsymbol{W}_i - \boldsymbol{\mu_W}) (\boldsymbol{W}_i- \boldsymbol{\mu_W})') = \boldsymbol{\Sigma_W}$，其中$\boldsymbol{\Sigma_W}$正定且有限。令$\overline{\boldsymbol{W}} = \frac{1}{n}\sum \boldsymbol{W}_i$，则有： $$ \sqrt{n}(\overline{\boldsymbol{W}} - \boldsymbol{\mu_W}) \stackrel{d}{\longrightarrow} \text{N}(\boldsymbol{0}_m, \boldsymbol{\Sigma_W}) $$

3.2 $\boldsymbol{\hat{\beta}}$的渐进正态性

在大样本条件下，OLS估计量服从多元渐进正态分布：

$$ \sqrt{n} (\boldsymbol{\hat{\beta} - \boldsymbol{\beta}}) \stackrel{d}{\longrightarrow} \text{N}(\boldsymbol{0}_{k+1}, \boldsymbol{\Sigma_{\sqrt{n}(\hat{\beta}-\beta)}}) $$

$$ \begin{aligned} \boldsymbol{\Sigma_{\sqrt{n}(\hat{\beta}-\beta)}} &= \boldsymbol{Q_X}^{-1} \boldsymbol{\Sigma_V} \boldsymbol{Q_X}^{-1} \\ \boldsymbol{Q_X} &= \text{E}(\boldsymbol{X}_i \boldsymbol{X}_i') \\ \boldsymbol{\Sigma_V} &= \text{E}(\boldsymbol{V}_i \boldsymbol{V}_i') \quad \boldsymbol{V}_i = \boldsymbol{X}_i u_i \end{aligned} $$

进一步地，我们有： $$ \boldsymbol{\hat{\beta}} \stackrel{d}{\longrightarrow} \text{N}(\boldsymbol{\beta}, \boldsymbol{\Sigma_\hat{\beta}}) $$

$$ \boldsymbol{\Sigma_{\hat{\beta}}} = \frac{\boldsymbol{\Sigma_{\sqrt{n}(\hat{\beta}-\beta)}}}{n} = \frac{\boldsymbol{Q_X}^{-1} \boldsymbol{\Sigma_V} \boldsymbol{Q_X}^{-1}}{n} $$

具体推导如下：

$$ \left. \begin{aligned} \boldsymbol{\hat{\beta}} &= (\boldsymbol{X}'\boldsymbol{X})^{-1}\boldsymbol{X}'\boldsymbol{Y} \\ \boldsymbol{Y} &= \boldsymbol{X\beta} + \boldsymbol{U} \end{aligned} \right\} \quad \boldsymbol{\hat{\beta}} = \boldsymbol{\beta} + (\boldsymbol{X}'\boldsymbol{X})^{-1}\boldsymbol{X}'\boldsymbol{U} \Longrightarrow \boldsymbol{\hat{\beta} - \boldsymbol{\beta} = (\boldsymbol{X}'\boldsymbol{X})^{-1}\boldsymbol{X}'\boldsymbol{U} } $$

进一步地：

$$ \sqrt{n} (\boldsymbol{\hat{\beta} - \boldsymbol{\beta}}) = (\frac{\boldsymbol{X}'\boldsymbol{X}}{n})^{-1} (\frac{\boldsymbol{X}'\boldsymbol{U}}{\sqrt{n}}) $$

此时，可以分两步进行证明：

Step 1：$(\frac{\boldsymbol{X}'\boldsymbol{X}}{n}) \stackrel{p}{\longrightarrow} \boldsymbol{Q_X}$

Step 2：$(\frac{\boldsymbol{X}'\boldsymbol{U}}{\sqrt{n}})$服从多元中心极限定理

对于Step 1，由于$\frac{\boldsymbol{X}'\boldsymbol{X}}{n} = \frac{1}{n}\sum \boldsymbol{X}_i \boldsymbol{X}'$，该矩阵的第$(j, l)$个元素为$\frac{1}n \sum X_{ji} X_{li}$

根据假设2，$\boldsymbol{X}_i$满足独立同分布，因此$X_{ji}X_{li}$也满足独立同分布。

又根据假设3，$\boldsymbol{X}_i$具有有限四阶矩，运用Cauchy-Schwarz不等式可知，$X_{ji}X_{li}$具有有限二阶矩。

综上，$X_{ji}X_{li}$满足独立同分布且具有有限二阶矩，因此$\frac{1}{n}\sum X_{ji}X_{li}$遵循大数定律，从而有：

$$ \frac{1}{n} \sum X_{ji}X_{li} \stackrel{p}{\longrightarrow} \text{E}(X_{ji}X_{li}) $$ 进一步地有： $$ \frac{\boldsymbol{X}\boldsymbol{X}'}{n} \stackrel{p}{\longrightarrow} \text{E}(\boldsymbol{X}_i \boldsymbol{X}_i') = \boldsymbol{Q_X} $$

对于Step 2，由于$\boldsymbol{X}' \boldsymbol{U} = \sqrt{\frac{1}{n} } \ \sum \boldsymbol{V}_i$，其中，$\boldsymbol{V}_i = \boldsymbol{X}_i u_i$，基于假设1并运用迭代期望定律有：

$$ \text{E}(\boldsymbol{V}_i) = \text{E}(\boldsymbol{X}_i\text{E}(u_i|\boldsymbol{X}_i)) = \boldsymbol{0}_{k+1} $$

且根据假设2，$\boldsymbol{V}_i$满足i.i.d.，令$\boldsymbol{c}$表示有限$k+1$维向量，利用Cauchy-Schwarz不等式可知：

$$ \text{E}(\boldsymbol{c}'\boldsymbol{V}_i)^2 = \text{E}(\boldsymbol{c}'\boldsymbol{X}_i u_i)^2 = \text{E}((\boldsymbol{c}'\boldsymbol{X}_i)^2 (u_i)^2) \leq \sqrt{\text{E}(\boldsymbol{c}'\boldsymbol{X}_i)^4 \text{E}(u_i^4)} $$

根据假设3可知上式是有限的，进一步地，可以说明$\boldsymbol{\Sigma_V} = \text{E}((\boldsymbol{V}_i- \boldsymbol{\mu_V})(\boldsymbol{V}_i - \boldsymbol{\mu_V}) = \text{E}(\boldsymbol{V}_i\boldsymbol{V}_i)$是有限的。又假设$\text{E}(\boldsymbol{V}_i\boldsymbol{V}_i')= \boldsymbol{\Sigma_V}$正定，因此$\frac{1}{n}\sum \boldsymbol{V}_i$满足多元中心极限定理，有：
$$
\sqrt{n}(\frac{1}{n}\sum\boldsymbol{V}_i - \boldsymbol{\mu_V}) \stackrel{d}{\longrightarrow} \text{N}(\boldsymbol{0}_{k+1}, \boldsymbol{\Sigma_V})
$$
进一步地有：
$$
\frac{1}{\sqrt{n}} \boldsymbol{X}'\boldsymbol{U} \stackrel{d}{\longrightarrow} \text{N}(\boldsymbol{0}_{k+1}, \boldsymbol{\Sigma_V}) $$

最后，再结合假设4（确保$(\boldsymbol{X}'\boldsymbol{X})^{-1}$存在）和Slutsky定理即可完成所有证明。

3.3 异方差-稳健标准误

用样本矩代替$\boldsymbol{\Sigma_{\hat{\beta}}}$中的总体矩即可得到$\boldsymbol{\hat{\beta}}$的异方差-稳健标准误。具体地：

$$ \boldsymbol{\hat{\Sigma}_\hat{\beta}} = \frac{\boldsymbol{\hat{\boldsymbol{\Sigma}}_{\sqrt{n}(\hat{\beta}-\beta)}}}{n} = \frac{(\frac{\boldsymbol{X}'\boldsymbol{X}}{n})^{-1} \boldsymbol{\hat{\boldsymbol{\Sigma}}_{\hat{V}}}(\frac{\boldsymbol{X}'\boldsymbol{X}}{n})^{-1}}{n} $$

$$ \boldsymbol{\hat{\boldsymbol{\Sigma}}_{\hat{V}}} = \frac{1}{n-k-1} \sum \boldsymbol{X}_i \boldsymbol{X}_i' \hat{u}_i^2 $$

第$j$个回归系数的异方差-稳健标准误为$\boldsymbol{\hat{\Sigma}_{\hat{\beta}}}$对角线上第$j$个元素的算术平方根，即：
$$
\hat{\sigma}_{\hat{\beta}_j} = \sqrt{(\boldsymbol{\hat{\Sigma}_{\hat{\beta}}})_{jj}}
$$

上式中的$\boldsymbol{\hat{\boldsymbol{\Sigma}}_{\sqrt{n}(\hat{\beta}-\beta)}}$又称作HC1估计量，利用类似于一元回归中的思路，可以证明其具有一致性。它是一种计量中最常用的方差估计量，但并不是唯一的估计量。研究表明，它在小样本下表现较差，但在大样本下工作良好。