數(shù)學(xué)之美番外篇

1、數(shù)學(xué)之美番外篇：平凡而又神奇的貝葉斯方法數(shù)學(xué)之美番外篇：平凡而又神奇的貝葉斯方法By劉未鵬(pongba)C的羅浮宮(:blog.pongba)TopLanguage(:groups.grouppongba)概率論只不過是把常識用數(shù)學(xué)公式表達了出來?！绽褂浀米x本科的時候，最喜歡到城里的計算機書店里面去閑逛，一逛就是好幾個小時；有一次，在書店看到一本書，名叫貝葉斯方法。當(dāng)時數(shù)學(xué)系的課程還沒有學(xué)到概率統(tǒng)計。我心想，一個方法能夠?qū)ｉT寫

2、出一本書來，肯定很牛逼。后來，我發(fā)現(xiàn)當(dāng)初的那個樸素歸納推理成立了——這果然是個牛逼的方法。——題記目錄目錄0.前言1.歷史1.1一個例子：自然語言的二義性1.2貝葉斯公式2.拼寫糾正3.模型比較與貝葉斯奧卡姆剃刀3.1再訪拼寫糾正3.2模型比較理論（ModelComparasion）與貝葉斯奧卡姆剃刀（BayesianOccam’sRaz）3.3最小描述長度原則3.4最優(yōu)貝葉斯推理4.無處不在的貝葉斯4.1中文分詞4.2統(tǒng)計機器翻譯4.

3、3貝葉斯圖像識別，AnalysisbySynthesis4.4EM算法與基于模型的聚類我們就需要提供一個猜測（hypothesis，更為嚴(yán)格的說法是“假設(shè)”，這里用“猜測”更通俗易懂一點），所謂猜測，當(dāng)然就是不確定的（很可能有好多種乃至無數(shù)種猜測都能滿足目前的觀測），但也絕對不是兩眼一抹黑瞎蒙但也絕對不是兩眼一抹黑瞎蒙——具體地說，具體地說，我們需要做兩件事情：我們需要做兩件事情：1.算出各種不同猜測的可能性大小。算出各種不同猜測的可能

4、性大小。2.算出最靠譜的算出最靠譜的猜測是什么。第一個就是計算特定猜測的后驗概率，對于連續(xù)的猜測空間則是猜測是什么。第一個就是計算特定猜測的后驗概率，對于連續(xù)的猜測空間則是計算猜測的概率密度函數(shù)。第二個則是所謂的模型比較，模型比較如果不考慮計算猜測的概率密度函數(shù)。第二個則是所謂的模型比較，模型比較如果不考慮先驗概率的話就是最大似然方法。先驗概率的話就是最大似然方法。1.1一個例子：自然語言的二義性一個例子：自然語言的二義性下面舉一個自然

5、語言的不確定性的例子。當(dāng)你看到這句話：Thegirlsawtheboywithatelescope.你對這句話的含義有什么猜測？平常人肯定會說：那個女孩拿望遠鏡看見了那個男孩（即你對這個句子背后的實際語法結(jié)構(gòu)的猜測是：Thegirlsawwithatelescopetheboy）。然而，仔細一想，你會發(fā)現(xiàn)這個句子完全可以解釋成：那個女孩看見了那個拿著望遠鏡的男孩（即：Thegirlsawtheboywithatelescope）。那為什

6、么平常生活中我們每個人都能夠迅速地對這種二義性進行消解呢？這背后到底隱藏著什么樣的思維法則？我們留到后面解釋。1.2貝葉斯公式貝葉斯公式貝葉斯公式是怎么來的？我們還是使用wikipedia上的一個例子：一所學(xué)校里面有60%的男生，40%的女生。男生總是穿長褲，女生則一半穿長褲一半穿裙子。有了這些信息之后我們可以容易地計算“隨機選取一個學(xué)生，他（她）穿長褲的概率和穿裙子的概率是多大”，這個就是前面說的“正向概率”的計算。然而，假設(shè)你走在校