[科普中國]-多元回歸分析

多元回歸分析(Multiple Regression Analysis)是指在相關(guān)變量中將一個變量視為因變量，其他一個或多個變量視為自變量，建立多個變量之間線性或非線性數(shù)學(xué)模型數(shù)量關(guān)系式并利用樣本數(shù)據(jù)進行分析的統(tǒng)計分析方法。另外也有討論多個自變量與多個因變量的線性依賴關(guān)系的多元回歸分析，稱為多元多重回歸分析模型(或簡稱多對多回歸)。

基本介紹通常影響因變量的因素有多個，這種多個自變量影響一個因變量的問題可以通過多元回歸分析來解決。例如，經(jīng)濟學(xué)知識告訴我們，商品需求量Q除了與商品價格P有關(guān)外，還受到替代品的價格、互補品的價格，和消費者收入等因素，甚至還包括商品品牌Brand這一品質(zhì)變量(品質(zhì)變量不能用數(shù)字來衡量，需要在模型中引入虛擬變量)的影響。多元回歸分析應(yīng)用的范圍更加廣泛。由于線性回歸分析比較簡單和普遍，下面首先介紹多元線性回歸，在線性分析基礎(chǔ)上，逐步引入虛擬變量回歸和一類能夠變換成線性回歸的曲線回歸模型1。

多元回歸模型多元回歸模型的數(shù)學(xué)形式設(shè)因變量為Y，影響因變量的k個自變量分別為 ，假設(shè)每一個自變量對因變量Y的影響都是線性的，也就是說，在其他自變量不變的情況下，Y的均值隨著自變量 的變化均勻變化，這時我們把

稱為總體回歸模型，把 稱為回歸參數(shù)?；貧w分析的基本任務(wù)是：

任務(wù)1：利用樣本數(shù)據(jù)對模型參數(shù)作出估計。

任務(wù)2：對模型參數(shù)進行假設(shè)檢驗。

任務(wù)3：應(yīng)用回歸模型對因變量(被解釋變量)作出預(yù)測。

模型的基本假定為了保證多元回歸分析的參數(shù)估計、統(tǒng)計檢驗以及置信區(qū)間估計的有效性，與一元線性回歸分析類似，我們需要對總體回歸模型及數(shù)據(jù)作一些基本假定。

假定1：隨機誤差項 的概率分布具有零均值，即 。

假定2：隨機誤差項 的概率分布對于不同的自變量表現(xiàn)值而言，具有同方差。即 的方差不隨著 的變化而變化， 。

假定2：隨機誤差項 的概率分布對于不同的自變量表現(xiàn)值而言，具有同方方差不隨著 的變化而變化， 。

假定3：隨機誤差項 不存在自相關(guān)，即 。

假定4： 與任一解釋變量 不相關(guān)，可以表示為 。

假定5：解釋變量X之間不存在完全共線性。

以上假定1~4與一元回歸分析的假定是相同的。假定5 是針對解釋變量而言，在一元回歸分析中，由于只有一個解釋變量，因此這一點是不需要的。在模型和數(shù)據(jù)滿足上述假定時，對式(1)兩邊取期望，可得到：

式(2)稱為總體回歸方程(Population Regression Equation，PRE )或總體回歸函數(shù)(Population Regression Function，PRF)， 表示在給定自變量 的條件下觀察值Y的條件均值。在實際問題中，總體參數(shù) 往往是未知的，我們需要根據(jù)樣本觀察值給出總體參數(shù)的相應(yīng)的估計值 ，此時，

稱為樣本回歸方程(Sample Regression Equation，SRE) 或樣本回歸函數(shù)(Sample RegressionFunction，SRF)， 也就是 的點估計值。

多元線性回歸方程的估計對于多元回歸方程，在模型和數(shù)據(jù)滿足前文所述的基本假定的前提下，參數(shù)估計可以通過最小二乘估計來得到，同樣假設(shè)

即

根據(jù)高等數(shù)學(xué)知識，Q分別對 對求偏導(dǎo)數(shù)，令其等于0，得到

求解式(5)中的方程組，即可得到參數(shù)的估計值 。由于手工計算比較繁瑣，而現(xiàn)在的統(tǒng)計軟件都提供了回歸分析工具，尤其Excel中的回歸分析工具相當(dāng)簡單。

引進虛擬變量的回歸分析前面介紹的回歸分析中的自變量和因變量都是數(shù)值型變量，如果在回歸分析中引入虛擬變量(分類變量)，則會使模型的應(yīng)用范圍迅速擴大。在自變量中引入虛擬變量本身并不影響回歸模型的基本假定，因為經(jīng)典回歸分析是在給定自變量X的條件下被解釋變量Y的隨機分布。但是如果因變量為分類變量，則會改變經(jīng)典回歸分析的基本假定，一般在計量經(jīng)濟學(xué)教材中有比較深入的介紹，如Logistics回歸等。

當(dāng)虛擬變量的引入形式只影響回歸方程的截距，我們稱為加法模型。引入虛擬變量的另外一種形式是乘法模型，這時引入虛擬變量后并不影響模型的截距，而是影響了斜率。當(dāng)然，在模型設(shè)定時也可能同時引入加法和乘法，同時改變模型的截距和斜率。

曲線回歸前面我們在模型中都假定Y和之間是線性關(guān)系，從廣義的線性角度來講，下面所講的曲線模型是通過變量替換而轉(zhuǎn)化成線性的模型。表1列出了常用的可以通過變量替換而轉(zhuǎn)化成線性的曲線模型1。

|| || 表1 可以轉(zhuǎn)化成線性模型的曲線

本詞條內(nèi)容貢獻者為:

尚華娟 - 副教授 - 上海財經(jīng)大學(xué)