统计学学习教程，从入门到精通，一元线性回归 —— 知识点详解(20）

四、残差分析

4.1 残差的定义

$$e_i=y_i-{\hat{y}}_i=y_i-({\hat{\beta }}_0+{\hat{\beta }}_1{x}_i),i=1,2,\dots ,n$$

4.2 标准化残差

$$e_i^{\ast }=\frac{e_i}{\hat{\sigma }}=\frac{e_i}{\sqrt{Q_e/(n-2)}}$$

4.3 残差的性质

由正规方程，残差满足：

4.4 残差分析的目的与方法

目的： 检验回归模型的基本假设是否成立。

三大假设检验：

常用残差图：

4.5 异常点的识别

• 离群点（Outlier）： $|e_i^{\ast }|>2$ 的点
• 高杠杆点： $x_i$ 远离 $\bar{x}$ 的点
• 强影响点： 删除该点后回归系数变化很大的点

五、公式速查表

六、思考与练习

习题1（基础计算题）

某公司研究广告投入 $x$（万元）与销售额 $y$（万元）的关系，随机抽取 8 个月的数据如下：

要求：
（1）计算相关系数 $r$，并检验其显著性（$\alpha =0.05$）
（2）求回归方程 $\hat{y}={\hat{\beta }}_0+{\hat{\beta }}_{1}x$
（3）对回归方程进行 $F$ 检验（$\alpha =0.05$）
（4）当广告投入 $x_0=6.5$ 万元时，求销售额均值的 95% 置信区间和个别值的 95% 预测区间

解答：

第一步：计算基本统计量

$n=8$

$\sum x_i=2+3+5+6+7+8+9+10=50$，$\bar{x}=50/8=6.25$

$\sum y_i=20+25+30+34+38+40+44+48=279$，$\bar{y}=279/8=34.875$

$\sum x_i^2=4+9+25+36+49+64+81+100=368$

$\sum y_i^2=400+625+900+1156+1444+1600+1936+2304=10365$

$\sum x_i{y}_i=40+75+150+204+266+320+396+480=1931$

第二步：计算 $L_{xy}$，$L_{xx}$，$L_{yy}$

$$L_{xy}=\sum x_i{y}_i-n\bar{x}\bar{y}=1931-8\times 6.25\times 34.875=1931-1743.75=187.25$$

$$L_{xx}=\sum x_i^2-n{\bar{x}}^2=368-8\times 6.25^2=368-312.5=55.5$$

$$L_{yy}=\sum y_i^2-n{\bar{y}}^2=10365-8\times 34.875^2=10365-9730.125=634.875$$

（1）相关系数：

$$r=\frac{L_{xy}}{\sqrt{L_{xx}\cdot L_{yy}}}=\frac{187.25}{\sqrt{55.5\times 634.875}}=\frac{187.25}{\sqrt{35235.5625}}=\frac{187.25}{187.71}\approx 0.9975$$

显著性检验：

$$t=\frac{r\sqrt{n-2}}{\sqrt{1-r^2}}=\frac{0.9975\times \sqrt{6}}{\sqrt{1-0.9950}}=\frac{0.9975\times 2.4495}{\sqrt{0.0050}}=\frac{2.4434}{0.0707}=34.56$$

查表 $t_{0.025}(6)=2.447$

由于 $|t|=34.56>2.447$，拒绝 $H_0$，线性关系高度显著。

（2）回归方程：

$${\hat{\beta }}_1=\frac{L_{xy}}{L_{xx}}=\frac{187.25}{55.5}=3.374$$

$${\hat{\beta }}_0=\bar{y}-{\hat{\beta }}_1\bar{x}=34.875-3.374\times 6.25=34.875-21.088=13.787$$

$$\boxed{\hat{y}=13.787+3.374x}$$

（3）$F$ 检验：

$$SSR={\hat{\beta }}_1{L}_{xy}=3.374\times 187.25=631.78$$

$$SSE=L_{yy}-SSR=634.875-631.78=3.095$$

$F_{0.05}(1,6)=5.99$

由于 $F=1224.83\gg 5.99$，回归方程高度显著。

$R^2=631.78/634.875=0.9951$，即广告投入解释了销售额 99.51% 的变异。

（4）预测（$x_0=6.5$）：

$${\hat{y}}_0=13.787+3.374\times 6.5=13.787+21.931=35.718$$

$$\hat{\sigma }=\sqrt{S_e^2}=\sqrt{0.516}=0.718$$

$$\sqrt{\frac{1}{n}+\frac{(x_0-\bar{x}{)}^2}{L_{xx}}}=\sqrt{\frac{1}{8}+\frac{(6.5-6.25{)}^2}{55.5}}=\sqrt{0.125+\frac{0.0625}{55.5}}=\sqrt{0.125+0.001126}=\sqrt{0.1261}=0.3552$$

均值的 95% 置信区间：

$$35.718\pm 2.447\times 0.718\times 0.3552=35.718\pm 0.624$$

$$\boxed{[35.094,36.342]}$$

个别值的 95% 预测区间：

$$\sqrt{1+0.1261}=\sqrt{1.1261}=1.0612$$

$$35.718\pm 2.447\times 0.718\times 1.0612=35.718\pm 1.865$$

$$\boxed{[33.853,37.583]}$$

习题2（残差分析题）

对习题1的回归方程，计算每个观测点的残差 $e_i$ 和标准化残差 $e_i^{\ast }$，绘制残差表，并对回归假设进行评价。

解答：

验证： $\sum e_i=-0.535+1.091-0.657-0.031+0.595-0.779-0.153+0.473\approx 0$ ✓

残差分析评价：

结论：回归模型的基本假设均得到满足，模型拟合效果良好。

习题3（概念辨析题）

判断下列说法是否正确，并说明理由：

（1） 相关系数 $r=0.95$，说明 $x$ 和 $y$ 之间存在因果关系。

不正确。 相关系数只能度量两个变量之间线性相关的强弱，不能证明因果关系。高相关可能由第三个混杂变量导致，也可能纯属巧合。因果关系需要通过实验设计或领域知识来确立。

（2） $R^2=0.90$，说明模型拟合很好，无需做残差分析。

不正确。 $R^2$ 只反映了模型解释变异的比例，不能代替残差分析。高 $R^2$ 的模型仍可能存在非线性模式、异方差性或异常点。残差分析是检验模型假设是否成立的必要步骤。

（3） 预测区间比置信区间宽，是因为预测值 ${\hat{y}}_0$ 的方差更大。

不完全正确。 预测区间比置信区间宽的原因不是 ${\hat{y}}_0$ 方差更大，而是预测个别值 $Y_0$ 时，除了 ${\hat{Y}}_0$ 的不确定性（方差 ${\sigma }^2[\frac{1}{n}+\frac{(x_0-\bar{x}{)}^2}{L_{xx}}]$）外，还要加上 $Y_0$ 自身的随机误差方差 ${\sigma }^2$。

（4） 一元线性回归中，$F$ 检验和 $t$ 检验是等价的。

正确。 在一元线性回归中，$F$ 统计量和 $t$ 统计量满足 $F=t^2$，两种检验的 $P$ 值相同，因此结论一致。

习题4（综合应用题）

某经济学家收集了某地区 10 个年份的人均GDP $x$（万元）和人均消费支出 $y$（万元）的数据，经初步计算得到：

$$n=10,\bar{x}=8,\bar{y}=6,L_{xx}=20,L_{xy}=15,L_{yy}=12$$

要求：
（1）建立一元线性回归方程
（2）计算 $R^2$ 和 $S_e^2$
（3）当人均GDP为12万元时，预测人均消费支出均值的95%置信区间（已知 $t_{0.025}(8)=2.306$）

解答：

（1）回归方程：

$${\hat{\beta }}_1=\frac{L_{xy}}{L_{xx}}=\frac{15}{20}=0.75$$

$${\hat{\beta }}_0=\bar{y}-{\hat{\beta }}_1\bar{x}=6-0.75\times 8=6-6=0$$

$$\boxed{\hat{y}=0.75x}$$

含义：人均GDP每增加1万元，人均消费支出平均增加0.75万元（边际消费倾向为0.75）。

（2）$R^2$ 和 $S_e^2$：

$$R^2=\frac{L_{xy}^2}{L_{xx}\cdot L_{yy}}=\frac{15^2}{20\times 12}=\frac{225}{240}=0.9375$$

$$Q_e=L_{yy}-\frac{L_{xy}^2}{L_{xx}}=12-\frac{225}{20}=12-11.25=0.75$$

$$S_e^2=\frac{Q_e}{n-2}=\frac{0.75}{8}=0.09375$$

（3）$x_0=12$ 时的预测：

$${\hat{y}}_0=0.75\times 12=9\text{（万元）}$$

$$\hat{\sigma }=\sqrt{0.09375}=0.3062$$

$$\sqrt{\frac{1}{n}+\frac{(x_0-\bar{x}{)}^2}{L_{xx}}}=\sqrt{\frac{1}{10}+\frac{(12-8{)}^2}{20}}=\sqrt{0.1+0.8}=\sqrt{0.9}=0.9487$$

95%置信区间：

$$9\pm 2.306\times 0.3062\times 0.9487=9\pm 0.670$$

$$\boxed{[8.330,9.670]}$$

习题5（思考题）

问： 如果将自变量 $x$ 和因变量 $y$ 互换，重新建立回归方程 $\hat{x}={\hat{\alpha }}_0+{\hat{\alpha }}_{1}y$，两条回归线是否重合？为什么？

答： 一般情况下，两条回归线不重合。

原因：以 $y$ 对 $x$ 回归为例：

$$\hat{y}=\bar{y}+\frac{L_{xy}}{L_{xx}}(x-\bar{x})\text{斜率为}{b}_1=\frac{L_{xy}}{L_{xx}}$$

以 $x$ 对 $y$ 回归为例：

$$\hat{x}=\bar{x}+\frac{L_{xy}}{L_{yy}}(y-\bar{y})\text{斜率为}{a}_1=\frac{L_{xy}}{L_{yy}}$$

将第二条线表示为 $y$ 关于 $x$ 的函数：$y=\bar{y}+\frac{L_{yy}}{L_{xy}}(x-\bar{x})$

其斜率为 $\frac{L_{yy}}{L_{xy}}$，与第一条线的斜率 $\frac{L_{xy}}{L_{xx}}$ 一般不相等。

只有当 $|r|=1$（完全线性相关）时，$L_{xy}^2=L_{xx}{L}_{yy}$，两条线才重合。

几何理解： 两条回归线都经过点 $(\bar{x},\bar{y})$，但斜率不同（分别最小化 $y$ 方向和 $x$ 方向的偏差），因此一般形成一个夹角。相关系数 $r$ 的绝对值越大，夹角越小。