内容发布更新时间 : 2025/6/23 20:46:44星期一 下面是文章的全部内容请认真阅读。
到目前为止，仅考虑了双变量回归模型，或称简单回归模型。即应变量仅是一个解释变量的函数。通过双变量模型介绍了回归分析的基本思想。很容易将回归的概念推广到应变量是多个解释变量函数的情形。
E(Y)?B1?B2X2i?B3X3i?...?BkXki （2-9）
注：E?Y??EYX2i,X3i,...,Xki
式（2-9）就是多元线性回归的一个例子。回归方程中包含了不止一个的自变量或解释变量。多元回归函数的随机形式（即随机PRF）表示为：
??Yi?B1?B2X2i?B3X3i?...?BkXki?ui
?E?Y??ui （2-10）
由于随机误差项u的存在，个体值不同于组均值。即使在多元回归分析中，也需引入误差项，因为不能把所有影响因素都纳入模型。
式（2-9）和式（2-10）都是参数线性的，因此，它们都是线性回归模型。而进入模型的解释变量不需要是线性的。
八、参数估计：普通最小二乘法 1．普通最小二乘法
虽然有若干不同的方法可获得SRF（即真实PRF的估计量），但在回归分析中，使用最广泛的方法是最小二乘法，一般称为普通最小二乘法。最小二乘原理如下：
对于双变量PRF式（2-2）：
Yi?B1?B2Xi?ui
由于不能直接观察PRF，所以用下面的SRF来估计它：
Yi?b1?b2Xi?ei
因而，
ei=实际的Yi-估计的Yi
? ?Yi?Yi?Yi?b1?b2Xi [利用式（2-3）]
上式表明：残差是Y的真实值与估计值之差，而后者可以根据式（2-3）得到。估计PRF最好的方法是，选
b2，择B1、B2的估计量b1、b2，使得残差ei尽可能小。普通最小二乘法就是要选择参数b1、使得残差平方和
最小。
用数学公式表示为：
?eiMin?ei??2?? Yi?Y2?2???Yi?b1?b2Xi? （2-11）
从式（2-11）可以看出，一旦给出Y和X的样本值，RSS就是估计量b1、b2的函数。选择不同的b1、b2，就能够得到不同的残差e，进而得到不同的RSS值。普通最小二乘法选择的是使RSS最小的估计值。
通过求解下面的两个联立方程得到使式（2-11）中RSS最小化的b1、b2值。
?Y?nb?b?Xi12i （2-12）
?YXii?b1?Xi?b2?Xi2 （2-13）
其中，n为样本容量，这些联立方程称为（最小二乘的）正规方程。
在式（2-12）和式（2-13）中，参数b是未知的，变量Y和X的和、平方和、交叉乘积和是已知的。求解联
立方程（运用代数运算），求得b1、b2。
b1?Y?b2X （2-14）
它是总体截距B1的估计量。样本截距就是Y的样本均值减去估计的斜率系数乘以X的样本均值。
b2xy??X?X??Y?Y??XY?nXY? （2-15） ???x??X?nX??X?X?iiiii22i22ii它是总体斜率B2的估计量。注意：
xi?(Xi?X)，yi?(Yi?Y)
式（2-14）和式（2-15）给出的估计量称为0LS估计量（OLS estimators），因为它们是通过