第五章貝葉斯估計

1、第五章貝葉斯統(tǒng)計5.1簡介到目前為止，我們已經(jīng)知道了大量的不同的概率模型，并且我們前面已經(jīng)討論了如何用它們?nèi)M合數(shù)據(jù)等等。前面我們討論了如何利用各種先驗知識，計算MAP參數(shù)來估計θ=argmaxp(θ|D)。同樣的，對于某種特定的請況，我們討論了如何計算后驗的全概率p(θ|D)和后驗的預(yù)測概率密度p(x|D)。當然在以后的章節(jié)我們會討論一般請況下的算法。5.2總結(jié)后驗分布后驗分布總結(jié)關(guān)于未知變量θ的一切數(shù)值。在這一部分，我們討論簡單的數(shù)

2、，這些數(shù)是可以通過一個概率分布得到的，比如通過一個后驗概率分布得到的數(shù)。與全面聯(lián)接相比，這些統(tǒng)計匯總常常是比較容易理解和可視化。5.2.1最大后驗估計通過計算后驗的均值、中值、或者模型可以輕松地得到未知參數(shù)的點估計。在5.7節(jié)，我們將討論如何利用決策理論從這些模型中做出選擇。典型的后驗概率均值或者中值是估計真實值的恰當選擇，并且后驗邊緣分布向量最適合離散數(shù)值。然而，由于簡化了優(yōu)化問題，算法更加高效，后驗概率模型，又名最大后驗概率估計成為

3、最受歡迎的模型。另外，通過對先驗知識的取對數(shù)來正則化后，最大后驗概率可能被非貝葉斯方法解釋（詳情參考6.5節(jié)）。最大后驗概率估計模型在計算方面該方法雖然很誘人，但是他有很多缺點，下面簡答介紹一下。在這一章我們將更加全面的學習貝葉斯方法。圖5.1（a）由雙峰演示得到的非典型分布的雙峰分布，其中瘦高藍色豎線代表均值，因為他接近大概率，所以對分布有個比較好的概括。(b)由伽馬繪圖演示生成偏態(tài)分布，它與均值模型完全不同。5.2.1.1無法衡量不

4、確定性最大后驗估計的最大的缺點是對后驗分布的均值或者中值的任何點估計都不能夠提供一個不確定性的衡量方法。在許多應(yīng)用中，知道給定估計值的置信度非常重要。我們在5.22節(jié)將討論給出后驗估計置信度的衡量方法。5.2.1.2深耕最大后驗估計可能產(chǎn)生過擬合y=f(x)利用蒙特卡洛仿真能夠得到y(tǒng)的分布（見2.7.1節(jié)）。其結(jié)果如圖5.2.我們看到原始的高斯分布已經(jīng)被非線性的S曲線乘方。特別的指出的是，我們看到轉(zhuǎn)化后的分布模型不完全等同于原始模型的形

5、式。圖5.2在非線性轉(zhuǎn)換下的密度轉(zhuǎn)化形式示例。注意轉(zhuǎn)化后的分布函數(shù)與原始分布的區(qū)別。以練習1.4為例（bishop2006b）。圖形由方差的貝葉斯變化生成。為了了解最大后驗估計中如何產(chǎn)生這一問題的，考慮如下例子。伯努利分布是典型的均值μ參數(shù)化模型所以，p(y=1|μ)=μ其中，y∈01。在每個單元間隔，假定我們有一個統(tǒng)一的先驗：pμ(μ)=1I(0≤μ≤1)。如果這里沒有數(shù)據(jù)，那么最大后驗估計僅僅是前驗知識的模型，他們可以是在0、1之間