[科普中國(guó)]-多元回歸

在處理測(cè)量數(shù)據(jù)時(shí)，經(jīng)常要研究變量與變量之間的關(guān)系。變量之間的關(guān)系一般分為兩種。一種是完全確定關(guān)系，即函數(shù)關(guān)系；一種是相關(guān)關(guān)系，即變量之間既存在著密切聯(lián)系，但又不能由一個(gè)或多個(gè)變量的值求出另一個(gè)變量的值。例如，學(xué)生對(duì)于高等數(shù)學(xué)、概率與統(tǒng)計(jì)、普通物理的學(xué)習(xí)，會(huì)對(duì)統(tǒng)計(jì)物理的學(xué)習(xí)產(chǎn)生影響，它們雖然存在著密切的關(guān)系，但很難從前幾門功課的學(xué)習(xí)成績(jī)來(lái)精確地求出統(tǒng)計(jì)物理的學(xué)習(xí)成績(jī)。但是，對(duì)于彼此聯(lián)系比較緊密的變量，人們總希望建立一定的公式，以便變量之間互相推測(cè)。回歸分析的任務(wù)就是用數(shù)學(xué)表達(dá)式來(lái)描述相關(guān)變量之間的關(guān)系。

1、多元回歸是指一個(gè)因變量（預(yù)報(bào)對(duì)象）,多個(gè)自變量（預(yù)報(bào)因子）的回歸模型?；痉椒ㄊ歉鶕?jù)各變量值算出交叉乘積和 。

2、這種包括兩個(gè)或兩個(gè)以上自變量的回歸稱為多元回歸。應(yīng)用此法，可以加深對(duì)定性分析結(jié)論的認(rèn)識(shí)，并得出各種要素間的數(shù)量依存關(guān)系，從而進(jìn)一步揭示出各要素間內(nèi)在的規(guī)律。一般來(lái)說(shuō)，多元回歸過(guò)程能同時(shí)提供多個(gè)備選的函數(shù)關(guān)系式，并提供每個(gè)關(guān)系式對(duì)實(shí)驗(yàn)數(shù)據(jù)的理解能力，研究者可以結(jié)合自己的理論預(yù)期，據(jù)此作出選擇。

相關(guān)變量之間的關(guān)系可以是線性的，也可以是非線性的。這里只討論多元線性回歸。設(shè) 是p個(gè)可以精確測(cè)量或可控制的變量。如果變量y與 之間的內(nèi)在聯(lián)系是線性的，那么進(jìn)行n次試驗(yàn)，則可得n組數(shù)據(jù)：

它們之間的關(guān)系可表示為：

………………

其中， 是p+l個(gè)待估參數(shù)，εi表示第i次試驗(yàn)中的隨機(jī)因素對(duì)yi的影響。為簡(jiǎn)便起見，將此n個(gè)方程表示成矩陣形式：

其中

上式便是p元線性回歸的數(shù)學(xué)模型。1

為了求出多元線性回歸模型中的參數(shù) ,可采用最小二乘法，即在其數(shù)學(xué)模型所屬的函數(shù)類中找一個(gè)近似的函數(shù)，使得這個(gè)近似函數(shù)在已知的對(duì)應(yīng)數(shù)據(jù)上盡可能和真實(shí)函數(shù)接近。

設(shè) 分別是 的最小二乘估計(jì)，則多元回歸方程（即近似函數(shù)）為:

其中 叫做回歸方程的回歸系數(shù)。對(duì)每一組,由回歸方程可以確定一個(gè)回歸值。這個(gè)回歸值與實(shí)際觀測(cè)值之差，反映了與回歸直線

的偏離程度。若對(duì)所有的觀測(cè)數(shù)據(jù)， 與 (I=1,2,…,n)的偏離越小，則認(rèn)為回歸直線與所有試驗(yàn)點(diǎn)擬合得越好。全部觀測(cè)值 與回歸值 的偏差平方和為：

根據(jù)微分學(xué)中的極值原理 應(yīng)是下列方程組的解：

通過(guò)整理可將上述方程組寫成如下形式：

其中， ，稱為回歸方程的系數(shù)矩陣，X'是X的轉(zhuǎn)置矩陣。當(dāng)X'X滿秩時(shí)，逆矩陣(X'X)-1存在，系數(shù)矩陣C可以表示為：

上式即為回歸模型中參數(shù)B的最小二乘估計(jì)。至此，我們就得到了p元線性回歸方程。

建立回歸方程的目的是要利用它來(lái)進(jìn)行預(yù)報(bào)與控制。在實(shí)際問(wèn)題中，事先并不能斷定隨機(jī)變量y與 之間確有線性關(guān)系，在求解回歸方程前，線性回歸模型只是一種假設(shè)，所以在求出線性回歸方程之后，還需對(duì)其進(jìn)行統(tǒng)計(jì)檢驗(yàn)，給以肯定或否定的結(jié)論。有關(guān)回歸方程及回歸系數(shù)的顯著性檢驗(yàn)問(wèn)題，這里就不介紹了。

由于線性回歸方程比較簡(jiǎn)單，所以在遇到非線性模型時(shí)，最好將其轉(zhuǎn)換為線性模型。2

（1）多項(xiàng)式模型

多項(xiàng)式模型為 ，

對(duì)方程中的變量作如下變換

則原方程變?yōu)?img src="http://img-xml.kepuchina.cn/images/newsWire/5SYTLTIpexlmgYVVt9axZsHRuHjoIavipEAh.jpg" />，

就可用線性模型的方法處理。

（2）指數(shù)模型指數(shù)模型為：

方程兩邊取對(duì)數(shù)得：

令

則可得線性方程

（3）冪函數(shù)模型冪函數(shù)模型為：

方程兩邊取對(duì)數(shù)得

令　

則冪函數(shù)模型就變?yōu)榫€性模型

（4）成長(zhǎng)曲線模型

成長(zhǎng)曲線模型在經(jīng)濟(jì)、教育和心理研究中都非常有用，其數(shù)學(xué)表達(dá)式為：

令　 ,

它就轉(zhuǎn)化為線性模型：　

(1) 確定幾個(gè)特定的變量之間是否存在相關(guān)關(guān)系，如果存在的話，找出它們之間合適的數(shù)學(xué)表達(dá)式；

(2) 根據(jù)一個(gè)或幾個(gè)變量的值， 預(yù)測(cè)或控制另一個(gè)變量的取值，并且可以知道這種預(yù)測(cè)或控制能達(dá)到什么樣的精確度；

(3) 進(jìn)行因素分析。例如在對(duì)于共同影響一個(gè)變量的許多變量(因素)之間，找出哪些是重要因素，哪些是次要因素，這些因素之間又有什么關(guān)系等等。2