[科普中國]-M估計

M 估計是基于最小二乘估計發(fā)展起來的一種抗差估計(Robust Estimation)方法。

M估計的發(fā)展理論研究和實踐經(jīng)驗表明高斯一馬爾可夫模型的最小二乘估計,存在不足不穩(wěn)健,也就是粗差發(fā)生時,參數(shù)的最小二乘估計不可靠,與其真值偏離太遠(yuǎn)。誤差分布不是正態(tài)分布時,最小二乘估計不是最優(yōu)估計。針對問題,最小二乘法的創(chuàng)立者之一,法國科學(xué)家勒讓得指出,在使用最小二乘法時,要注意那些大的偏離值粗差可見,粗差問題不是現(xiàn)代才注意到,但其系統(tǒng)研究卻是始于世紀(jì)年代,并被定義為估計,年發(fā)表的論文“位置參數(shù)的穩(wěn)健估計”是其標(biāo)志。在年,他將此方法用于一般的多元線性模型,自那以后,這個領(lǐng)域不僅受到統(tǒng)計學(xué)家的重視,更受到應(yīng)用工作者的重視和歡迎,在測繪科學(xué)也不例外,幾十年來,理論和應(yīng)用上產(chǎn)生了一批重要成果并且對問題當(dāng)誤差不是正態(tài)分布時,在估計中可以找到優(yōu)于最小二乘法的估計1。

盡管估計的初衷是為了解決最小二乘法的不穩(wěn)健問題,但從它的發(fā)展來看永遠(yuǎn)超越了它最初的目的,實際上它是包括了穩(wěn)健估計、最小二乘估計在內(nèi)的一個廣義的估計類。

M估計的極值法定義對獨立同分布等精度模型

選定一個定義于一維歐氏空間R的實函數(shù),令

式中是設(shè)計矩陣的行向量:X又是極值解這種估計就稱為M估計,是Huber于1964年在發(fā)表的論文“位置參數(shù)的穩(wěn)健估計”中引進(jìn)的位置參數(shù)模型就是上式中只有一個未知參數(shù)、設(shè)計矩陣,A=（1,1...1）的情況。1973年,Huber進(jìn)一步將這種估計拓展到獨立同分布等精度的線性函數(shù)模型。應(yīng)用中,我們常常面臨獨立同分布不等精度模型,由此拓展上式為

式中P是相應(yīng)觀測量或觀測誤差的權(quán)。

Huber引入估計的動機是追求參數(shù)估計的穩(wěn)健性,這是最小二乘估計所缺乏的。但要注意到,穩(wěn)健性只是參數(shù)估計的一個性質(zhì),這個性質(zhì)與最優(yōu)性不同,我們不能說愈穩(wěn)健就愈好。對基于正態(tài)分布的參數(shù)估計,過于強調(diào)穩(wěn)健性會導(dǎo)致效率損失2。

本詞條內(nèi)容貢獻(xiàn)者為:

劉軍 - 副研究員 - 中國科學(xué)院工程熱物理研究所