[科普中國]-共軛先驗(yàn)分布

共軛先驗(yàn)

在貝葉斯統(tǒng)計(jì)中，如果后驗(yàn)分布與先驗(yàn)分布屬于同類，則先驗(yàn)分布與后驗(yàn)分布被稱為共軛分布，而先驗(yàn)分布被稱為似然函數(shù)的共軛先驗(yàn)。比如，高斯分布家族在高斯似然函數(shù)下與其自身共軛(自共軛)。這個(gè)概念，以及"共軛先驗(yàn)"這個(gè)說法，由霍華德·拉法拉和羅伯特·施萊弗爾在他們關(guān)于貝葉斯決策理論的工作中提出。類似的概念也曾由喬治·阿爾弗雷德·巴納德獨(dú)立提出。

具體地說，就是給定貝葉斯公式假定似然函數(shù)是已知的，問題就是選取什么樣的先驗(yàn)分布會(huì)讓后驗(yàn)分布與先驗(yàn)分布具有相同的數(shù)學(xué)形式。

共軛先驗(yàn)的好處主要在于代數(shù)上的方便性，可以直接給出后驗(yàn)分布的封閉形式，否則的話只能數(shù)值計(jì)算。共軛先驗(yàn)也有助于獲得關(guān)于似然函數(shù)如何更新先驗(yàn)分布的直觀印象。

所有指數(shù)家族的分布都有共軛先驗(yàn)。1

先驗(yàn)概率在貝葉斯統(tǒng)計(jì)中，某一不確定量p的先驗(yàn)概率分布是在考慮"觀測數(shù)據(jù)"前，能表達(dá)p不確定性的概率分布。它旨在描述這個(gè)不確定量的不確定程度，而不是這個(gè)不確定量的隨機(jī)性。這個(gè)不確定量可以是一個(gè)參數(shù)，或者是一個(gè)隱含變量（英語：latent variable）。

在使用貝葉斯定理時(shí)，我們通過將先驗(yàn)概率與似然函數(shù)相乘，隨后標(biāo)準(zhǔn)化，來得到后驗(yàn)概率分布，也就是給出某數(shù)據(jù)，該不確定量的條件分布。

先驗(yàn)概率通常是主觀的猜測，為了使計(jì)算后驗(yàn)概率方便，有時(shí)候會(huì)選擇共軛先驗(yàn)。如果后驗(yàn)概率和先驗(yàn)概率是同一族的，則認(rèn)為它們是共軛分布，這個(gè)先驗(yàn)概率就是對(duì)應(yīng)于似然函數(shù)的共軛先驗(yàn)。1

后驗(yàn)概率在貝葉斯統(tǒng)計(jì)中，一個(gè)隨機(jī)事件或者一個(gè)不確定事件的后驗(yàn)概率是在考慮和給出相關(guān)證據(jù)或數(shù)據(jù)后所得到的條件概率。

假設(shè)一個(gè)學(xué)校里有60%男生和40%女生。女生穿褲子的人數(shù)和穿裙子的人數(shù)相等，所有男生穿褲子。一個(gè)人在遠(yuǎn)處隨機(jī)看到了一個(gè)穿褲子的學(xué)生。那么這個(gè)學(xué)生是女生的概率是多少？

使用貝葉斯定理，事件A是看到女生，事件B是看到一個(gè)穿褲子的學(xué)生。我們所要計(jì)算的是P(A|B)。

P(A)是忽略其它因素，看到女生的概率，在這里是40%

P(A')是忽略其它因素，看到不是女生（即看到男生）的概率，在這里是60%

P(B|A)是女生穿褲子的概率，在這里是50%

P(B|A')是男生穿褲子的概率，在這里是100%

P(B)是忽略其它因素，學(xué)生穿褲子的概率，P(B) = P(B|A)P(A) + P(B|A')P(A')，在這里是0.5×0.4 + 1×0.6 = 0.8.

根據(jù)貝葉斯定理，我們計(jì)算出后驗(yàn)概率P(A|B)：

可見，后驗(yàn)概率實(shí)際上就是條件概率。2

高斯分布正態(tài)分布（德語：Normalverteilung；英語：normal distribution）又名高斯分布（德語：Gau?-Verteilung；英語：Gaussian distribution, 以德國數(shù)學(xué)家卡爾·弗里德里希·高斯的姓冠名），是一個(gè)在數(shù)學(xué)、物理及工程等領(lǐng)域都非常重要的概率分布，由于這個(gè)分布函數(shù)具有很多非常漂亮的性質(zhì)，使得其在諸多涉及統(tǒng)計(jì)科學(xué)離散科學(xué)等領(lǐng)域的許多方面都有著重大的影響力。比如圖像處理中最常用的濾波器類型為Gaussian濾波器（也就是所謂的正態(tài)分布函數(shù)）。

若隨機(jī)變量服從一個(gè)位置參數(shù)為、尺度參數(shù)為的概率分布，記為：

則其概率密度函數(shù)為

正態(tài)分布的數(shù)學(xué)期望值或期望值等于位置參數(shù)，決定了分布的位置；其方差的開平方或標(biāo)準(zhǔn)差等于尺度參數(shù)，決定了分布的幅度。

正態(tài)分布的概率密度函數(shù)曲線呈鐘形，因此人們又經(jīng)常稱之為鐘形曲線（類似于寺廟里的大鐘，因此得名）。我們通常所說的標(biāo)準(zhǔn)正態(tài)分布是位置參數(shù)，尺度參數(shù)的正態(tài)分布。3

參見中心極限定理

概率論

伽瑪分布