高级计量经济学

第3章最小二乘法和最小二乘估计。

chapter 3 least squares

线性模型中的参数估计有多种方法，其中最小二乘法是最为著名的。即使已经发现其他方法比较优越，但是最小二乘法仍然是线性模型估计的基础方法，最小二乘估计的性质已经得到了广泛应用。

3.1 最小二乘回归(least squares regression)

随机线性关系中的未知系数是我们考虑的重点，也是我们进行估计的主要目标。这时我们有必要区分母体变量(例如和)和它们的样本估计，对应地表示为和。母体回归方程可以表示为：

它的估计表示为：

与第i个数据点相关的扰动项可以表示为：

如果获得了回归系数的估计，则可以利用回归方程的残差来估计随机扰动项，即。

根据这些定义和表示，可以得到：

母体量是每个的概率分布中的未知系数，我们希望利用样本数据来估计这些参数。虽然这是一个统计推断问题，但是我们仍然可以直观地认为应该选取向量，使得拟合直线尽量地靠近数据点。如果描述这种靠近性，需要一定的拟合准则，其中最为广泛使用的是最小二乘法。

3.1.1 最小二乘系数向量。

可以通过极小化下述残差平方和来获得最小二乘系数向量。

其中表示系数向量的选择。利用矩阵形式表示上述残差平方和：

将上述目标函数展开得到(注意利用标量的转置不变的性质)：

极小化的一阶条件为(相当于对向量求导数，要么利用向量展开，要么利用向量求导公式)：

假设是最小二乘的解，则它必须满足最小二乘正规方程(least square normal equations)：

如果解释变量矩阵的满秩条件满足，则有：

这说明矩阵是可逆矩阵，因此正规方程的唯一解为：

注意到上述条件只是极小化问题的必要条件，为了判断充分性，我们需要求出目标函数的hessian矩阵：

如果这个hessian矩阵是正定的，则可以判断所得到的解是唯一的最小二乘解。

显然，根据正定矩阵的定义或者正定矩阵的判断准则，可知当矩阵的满秩条件满足时，矩阵是正定的，因此最小二乘解的充分性成立。

通过上述最小二乘解的表达式，我们可以得到最小二乘解的下述代数性质：

命题3.1 对于线性模型和相应的最小二乘估计，则有：

1) 最小二乘残差的和为零。即。

(2) 回归超平面通过数据的均值点，即。

3) 从回归方程中获得的拟合值的均值等于样本观测值的均值，即。

证明：(1) 根据正规方程，可知：

这说明对于矩阵的每一列，都有，由于矩阵的第1列中都是1，所以得到(因此这条性质成立的前提条件是回归模型中包含常数项)：

2) 正规方程表示为矩阵形式为：

将上述矩阵方程的第一个方程表示出来，则有：

根据数据的样本均值定义，则有：

也即： 3) 根据拟合值的定义：，即，则有：

上述矩阵方程的第一个方程可以表示为：

则有：需要注意的是，上述命题成立的前提是线性模型中包含常数项，也就是第一个解释变量是“哑变量”形式。这样一个思考题目就是，当线性模型中不包含常数项时，结论是什么样的？

3.1.2 投影和投影矩阵(projection and projection matrix)

获得最小二乘估计以后，可以获得下述最小二乘残差：

将最小二乘估计的表达式代入，得到：

其中定义的矩阵在回归分析中是非常基础和重要的。显然，这个矩阵是对称幂等矩阵：

其次，还有一些重要的性质需要大家注意，例如对称幂等矩阵的特征根非0即1(对称矩阵的特征均为实数)，因此矩阵具有性质：矩阵的迹等于矩阵的秩。诸如这样的性质，需要大家复习一下线性代数中的有关定义和命题。

根据上述方程(2.12)和(2.13)，矩阵的作用是，它乘积作用在某个向量上，就可以得到这个向量基于数据变量的最小二乘回归的残差向量，因此经常将这个矩阵称为“残差生成算子”(residual maker)。

这里需要注意的定义和所作用的变量，是所作用变量关于定义中数据矩阵的回归残差。

显然，基于自己的线性回归的最小二乘残差一定为零，则必然有(即使验证也十分显然)：

根据方程(2.12)，可以得到：

这说明最小二乘回归将变量分解成为两个部分，一个部分是拟合值，另一个部分是残差，由于。

这说明最小二乘回归与残差是正交的。因此，这样的分解是正交分解，也就是说最小二乘的拟合值向量和残差向量是正交的(意味着这两个向量之间的夹角为垂角)。这时也可以得到：

这里矩阵也是一个对称幂等矩阵，我们称其为投影矩阵(project matrix)，它是有矩阵构成的，并且它如果乘积作用到向量上，则可以得到基于变量的最小二乘回归的拟合值。这也是向量在矩阵的各列生成的线性空间上的投影。

注释：假设在矩阵的各列生成的线性空间上的投影是，则的定义是：

且选择使得3.18)

由于上述向量之间的模与最小二乘距离是一致的，因此上述最小值也得到了最小二乘估计，因此最小二乘估计的拟合值也是投影值。

为了更好地理解上述定义和公式，我们将一些有用的结论归纳为下述命题：

命题3.2 **性模型的最小二乘估计中，可以得到：

1) 矩阵和矩阵是正交的，即：

2) 矩阵具有自投影不变性，即：

3) 向量可以通过投影进行正交分解，即分解为投影和残差：

其中是投影，是残差。

4) 平方和分解公式成立：

5) 残差平方和可以表示为：

6) 残差平方和也可以表示为：

证明：(1) 根据定义：，因此：。取转置矩阵就可以得到。

2) 根据投影矩阵定义，或者根据投影的定义，都可以直接验证。

3) 因为，因此可以得到分解公式为：，是投影，即最小二乘回归的拟合值；是最小二乘的残差向量，投影和残差是正交的。

4) 因为矩阵和矩阵都是对称幂等矩阵，则有：

因此。这种平方和分解公式十分重要，将其表示成为标量形式则更为清楚。

5) 因为，并且是对称幂等矩阵，则有：

6) 因为，则有：

根据(4)所给出的平方和分解公式，则有：

由此可知(也可以直接验证)：，因此得到：

线性模型中存在多种关系式，需要多加联系并熟练掌握。

3.2 分块回归和偏回归(partitioned regression and partial regression)

通常在进行线性回归时我们假定了完全的回归变量，但事实上我们只对其中的部分变量感兴趣。这时我们就需要考虑将一部分变量从回归变量中删除所导致的结果。

假设回归方程中涉及到两部分变量和，这时有：

为了求解上述参数的最小二乘估计，考虑下述正规方程：

上述四块矩阵可以通过下述分块逆矩阵公式得到：

也可以直接求解得到：

上述解的公式表明，系数的最小二乘估计是基于的回归系数，减去一个修正向量。

高级计量经济学

高级计量经济学大纲

高级计量经济学总结

高级计量经济学绪论

其他用户还读了