本节内容主要整理自教材《Introduction to Econometrics 4th》James H. Stock & Mark W. Watson 中文译本王立勇 & 徐晓莉机械工业出版社 2023，部分内容整理自课后习题答案

1. 异方差-稳健标准误

在基于假设1到3的情况下，我们可以推出$\hat{\beta_1}$的大样本分布，即:

$$ \begin{align*} \sqrt{n}(\hat{\beta_1}- \beta_1) \stackrel{d}{\longrightarrow} \text{N}(0, \frac{\sigma^2_v}{(\sigma_X^2)^2}) \Longrightarrow \hat{\beta_1} \stackrel{d}{\longrightarrow} \text{N}(\beta_1, \sigma^2_{\hat{\beta_1}}) \end{align*} $$

$$ \begin{align*} v_i &= (X_i - \mu_X)u_i \\ \sigma^2_{\hat{\beta_1}} &= \frac{\sigma_v^2}{n(\sigma_X^2)^2} \end{align*} $$

进一步地，我们可以得到$\sigma^2_\hat{\beta_1}$的估计量$\hat{\sigma}^2_\hat{\beta_1}$：

$$ \hat{\sigma}^2_\hat{\beta_1} = \frac{1}{n} \frac{\frac{1}{n-2} \sum (X_i - \bar{X})^2 \hat{u}_i^2}{(\frac{1}{n} \sum (X_i - \bar{X})^2)^2} $$

此时，$\hat{\sigma}_\hat{\beta_1}$即为$\hat{\beta}_1$的异方差-稳健标准误，可以证明其具有一致性，具体如下：

我们需要证明$\frac{\hat{\sigma}^2_{\hat{\beta}1}}{\sigma^2_{\hat{\beta}1}} \stackrel{p}{\longrightarrow} 1$，最后利用连续映射定理即可。

首先，将左式分解为：
$$\frac{\hat{\sigma}^2_{\hat{\beta}1}}{\sigma^2_{\hat{\beta}_1}} = (\frac{n}{n-2}) (\frac{\frac{1}{n} \sum (X_i - \bar{X})^2 \hat{u}_i^2}{\sigma^2_v}) \bigg/ (\frac{\frac{1}{n} \sum (X_i - \bar{X})^2}{\sigma^2_X})^2 $$

现在要证明这三项都依概率收敛于1，具体地：

第一项显然收敛于1，第三项在之前已经证明过，现在要证明第二项，分两步进行证明：

Step 1：$\frac{1}{n} \sum v_i^2 \stackrel{p}{\longrightarrow} \sigma^2_v$，Step 2：$\frac{1}{n} \sum (X_i - \bar{X})^2\hat{u}_i^2 - \frac{1}{n} \sum v_i^2 \stackrel{p}{\longrightarrow} 0$。

对于Step 1，首先假设$\text{E}(X_i^8), \text{E}(u_i^8) < \infty$，这个条件比假设3更加严格，实际上并不必要，可以直接基于有限四阶矩进行证明，具体可见Hayashi（2000, 2.5节），但为简单起见，现作进一步的假设。此时，若证明$\frac{1}n{ \sum v_i^2}$服从大数定律即可得证，原因在于$\sigma_v^2 = \text{E}(v_i - \text{E}(v_i))^2 = \text{E}(v_i^2)$。该证明的关键在于证明$v_i^2$满足i.i.d.且$\text{Var}(v_i^2) < \infty$。第一个条件根据假设2成立，第二个条件根据Cauchy-Schwarz不等式有：

$$\text{Var}(v_i^2) = \text{E}(v_i^4) - \text{E}^2(v_i^2) \leq \text{E}(v_i^4) = \text{E}((X_i - \mu_X)^4 u_i^4) \leq \sqrt{E(X_i - \mu_X)^8 \text{E}(u_i^8)} < \infty$$

故得证。

对于Step 2，相当于证明： $$ \frac{1}{n} \sum ((X_i - \bar{X})^2 \hat{u}^2_i - (X_i - \mu_X)^2u_i^2) \stackrel{p}{\longrightarrow} 0 $$

首先定义，$\bar{X} = \mu_X + (\bar{X} - \mu_X)$，并将其代入上式有： $$ (\bar{X} - \mu)^2 \frac{1}{n} \sum \hat{u}_i^2 -2(\bar{X} - \mu_X)\frac{1}{n} \sum (X_i - \mu_X)\hat{u}_i^2 + \frac{1}{n} \sum (X_i - \mu_X)^2(\hat{u}_i^2 - u_i^2) $$

同时，我们有：

$$ \begin{align*} \hat{u}_i^2 &= (u_i - (\hat{\beta}_0 - \beta_0) - (\hat{\beta} - \beta_1)X_i)^2 \\ &= u_i^2 + (\hat{\beta}_0 - \beta_0)^2 + (\hat{\beta}_1 - \beta_1)^2X_i^2 - 2u_i(\hat{\beta}_0 - \beta_0) \\ &- 2u_i(\hat{\beta}_1 - \beta_1)X_i + 2(\hat{\beta}_0 - \beta_0)(\hat{\beta}_1 - \beta_1)X_i \end{align*} $$

可以发现，$\hat{u}_i^2 - u_i^2 \stackrel{p}{\longrightarrow} 0$且$\bar{X} - \mu_X \stackrel{p}{\longrightarrow} 0$，也即原式可以分解为多个如$a_nb_n$形式的项，其中$a_n \stackrel{p}{\longrightarrow}0$，$b_n = \frac{1}{n} \sum X_i^r u_i^s$。此时需要保证$b_n$是有限的。根据大数定律，若$w_i = X_i^r u_i^s$满足i.i.d.和有限方差，即可保证$b_n$依概率收敛。而根据Cauchy-Schwarz不等式，有：

$$ \text{E}(w_i^2) = \text{E}(X_i^{2r} u_i^{2s}) \leq \sqrt{\text{E}(X_i^{4r}) \text{E}(u_i^{4s})} <\infty $$

可以发现，此时分为两种情况：1. $0 < r,s \leq 2$；2. $r \ \text{or}\ s =0 \ \text{and} \ s \ \text{or}\ r \leq 4$。最后利用连续映射定理即可。在基于八阶矩有限的条件下，我们最终完成所有证明。

2. 异方差-稳健$t$统计量的渐进正态性

在假设1到3下，以$\hat{\sigma}_{\hat{\beta}1}$构建的检验统计量$t$：
$$t = \frac{\hat{\beta}_1 - \beta_{1,0}}{\hat{\sigma}_{\hat{\beta}_1}} $$

可以证明$t \stackrel{d}{\longrightarrow} \text{N}(0, 1)$，从而进一步计算p值。具体证明如下：

首先将$t$统计量进行分解可以得到：

$$ t = \frac{\hat{\beta}_1 - \beta_{1,0}}{\hat{\sigma}_{\hat{\beta}_1}} = \frac{\sqrt{n}(\hat{\beta}_1 - \beta_{1,0})}{\sqrt{n} \sqrt{\sigma^2_{\hat{\beta}_1}}} \bigg/ \sqrt{\frac{\hat{\sigma}_{\hat{\beta}_1}^2}{\sigma^2_{\hat{\beta}_1}}}$$

我们已经证明：

$$\sqrt{n}(\hat{\beta_1}- \beta_1) \stackrel{d}{\longrightarrow} \text{N}(0, \frac{\sigma^2_v}{(\sigma_X^2)^2})$$

同时我们有：
$$\sigma^2_{\hat{\beta_1}} = \frac{\sigma_v^2}{n(\sigma_X^2)^2}$$

因此我们有：
$$\frac{\sqrt{n}(\hat{\beta}_1 - \beta_{1,0})}{\sqrt{n} \sqrt{\sigma^2_{\hat{\beta}_1}}} = \frac{\sqrt{n}(\hat{\beta}_1 - \beta_{1,0})}{\frac{\sigma_v}{\sigma_X^2}} \stackrel{d}{\longrightarrow} \text{N}(0,1)$$

又因为我们已经证明$\hat{\sigma}^2_{\hat{\beta}_1} \stackrel{p}{\longrightarrow} \sigma^2_{\hat{\beta}_1}$，因此有$\frac{\hat{\sigma}^2_{\hat{\beta}_1}}{\sigma^2_{\hat{\beta}_1}} \stackrel{p}{\longrightarrow} 1$。最后，根据Slutsky定理我们证明了$t \stackrel{d}{\longrightarrow} \text{N}(0,1)$。