數(shù)理統(tǒng)計(jì)1-隨機(jī)事件及其概率

1、第五章 假設(shè)檢驗(yàn),,本章大綱,假設(shè)檢驗(yàn)的基本概念Neyman-Pearson范式和假設(shè)檢驗(yàn)有關(guān)的兩個(gè)問(wèn)題廣義似然比檢驗(yàn)單樣本檢驗(yàn)的幾個(gè)實(shí)例兩個(gè)樣本的比較實(shí)驗(yàn)設(shè)計(jì),,學(xué)習(xí)目標(biāo),理解假設(shè)檢驗(yàn)的直觀概念和Neyman-Pearson范式了解假設(shè)檢驗(yàn)方法的可能缺陷掌握廣義似然比檢驗(yàn)掌握正態(tài)、多項(xiàng)、泊松總體的假設(shè)檢驗(yàn)掌握Hanging Rootogram和概率圖掌握兩個(gè)獨(dú)立樣本的比較理解實(shí)驗(yàn)設(shè)計(jì),本章詳細(xì)大綱,假設(shè)檢驗(yàn)的基

2、本概念Neyman-Pearson范式Neyman-Pearson引理顯著性水平的確定和p-值一致最優(yōu)檢驗(yàn)和假設(shè)檢驗(yàn)有關(guān)的兩個(gè)問(wèn)題置信區(qū)間和假設(shè)檢驗(yàn)的對(duì)偶關(guān)系如何選擇原假設(shè)廣義似然比檢驗(yàn)廣義似然比方法多項(xiàng)分布的廣義似然比檢驗(yàn)泊松分布的廣義似然比檢驗(yàn)單樣本檢驗(yàn)的幾個(gè)實(shí)例兩個(gè)樣本的比較,,1.假設(shè)檢驗(yàn)的基本概念(Hypothesis Testing),硬幣猜測(cè)游戲用似然比likelihood ratio

3、和貝葉斯方法處理這個(gè)問(wèn)題,,正面朝上的概率硬幣0 0.5硬幣1 0.7,猜硬幣中的似然比,如果你在10次拋擲中看到2次正面朝上。則P0(2)/P1(2)=30。這就是似然比。硬幣0出現(xiàn)這個(gè)結(jié)果的機(jī)會(huì)是硬幣1的30倍,,,猜硬幣中的似然比,根據(jù)拋擲結(jié)果計(jì)算出的后驗(yàn)概率成為評(píng)判標(biāo)準(zhǔn),,C是臨界值critical value,猜硬幣中的錯(cuò)判概率,假定c=1。則判別規(guī)則如下：因?yàn)榻Y(jié)果有隨機(jī)性，這個(gè)規(guī)則導(dǎo)致錯(cuò)判錯(cuò)

4、誤分成兩類(lèi)：H0為真的時(shí)候拒絕H0， H0為假的時(shí)候接受H0,,臨界值c對(duì)錯(cuò)判概率的影響,假定c=0.1，即先驗(yàn)概率有差異,2.Neyman-Pearson范式,不用貝葉斯方法規(guī)避了先驗(yàn)概率的決定對(duì)兩個(gè)假設(shè)區(qū)別對(duì)待，一個(gè)成為原假設(shè)H0(null hypotheses)，另一個(gè)成為備擇假設(shè)H1(alternative hypotheses)由此導(dǎo)致在有些場(chǎng)合下選擇原假設(shè)的困難,Neyman-Pearson范式中的術(shù)語(yǔ),第I類(lèi)錯(cuò)誤(T

5、ype I Error)，H0為真的時(shí)候拒絕H0檢驗(yàn)的顯著性水平(significance level)，第I類(lèi)錯(cuò)誤的概率，通常記為第II類(lèi)錯(cuò)誤(Type I Error)，H0為假的時(shí)候接受H0，其概率記為檢驗(yàn)的功效(power)， H0為假的時(shí)候拒絕H0，其概率記為 檢驗(yàn)統(tǒng)計(jì)量(test statistics)拒絕域(rejection region)和接受域(acceptance region)原分布(null dis

6、tribution)，在原假設(shè)為真的條件檢驗(yàn)統(tǒng)計(jì)量所服從的分布,,,Neyman-Pearson引理(lemma),,方差已知的正態(tài),,,,,,方差已知的正態(tài),,,,置信區(qū)間和假設(shè)檢驗(yàn)的對(duì)偶關(guān)系,,,,,,,,,置信區(qū)間和假設(shè)檢驗(yàn)的對(duì)偶關(guān)系：引理A,引理A,置信區(qū)間和假設(shè)檢驗(yàn)：引理A證明,引理A證明,則按照C(X)的定義,置信區(qū)間和假設(shè)檢驗(yàn)的對(duì)偶關(guān)系：引理B,引理B,證明,廣義似然比檢驗(yàn)（Generalized Likelihood

7、Ratio Test）,似然比檢驗(yàn)在對(duì)兩個(gè)簡(jiǎn)單假設(shè)進(jìn)行檢驗(yàn)的時(shí)候是最優(yōu)的。本節(jié)介紹的廣義似然比檢驗(yàn)將能夠處理比較復(fù)雜的假設(shè)形式。其原理和似然比有相似之處。,一個(gè)比較自然的度量?jī)蓚€(gè)假設(shè)可信程度的指標(biāo)是兩個(gè)假設(shè)的似然比。,廣義似然比檢驗(yàn),因?yàn)樵趦蓚€(gè)假設(shè)中，參數(shù)都有多個(gè)可能取值，所以在可能的參數(shù)集合上取最大值是一個(gè)可以考慮的,,,出于數(shù)學(xué)處理上的考慮，把分母改成在整個(gè)參數(shù)集合上取最大值,廣義似然比檢驗(yàn)：方差未知正態(tài)總體的均值檢驗(yàn),廣義似

8、然比檢驗(yàn)：方差未知正態(tài)總體的均值檢驗(yàn),,,,廣義似然比檢驗(yàn)：方差未知正態(tài)總體的均值檢驗(yàn),,,,多項(xiàng)分布的廣義似然比檢驗(yàn),,考慮多項(xiàng)分布的似然比檢驗(yàn)。,多項(xiàng)分布的廣義似然比檢驗(yàn),,,,,Pearson卡方統(tǒng)計(jì)量和似然比,,可以證明在H0成立的條件下，Pearson統(tǒng)計(jì)量和似然比漸近等價(jià)，這里用Taylor展開(kāi)做一直觀解釋。,Pearson卡方統(tǒng)計(jì)量和似然比,,Handy-Weinberg均衡,在參數(shù)估計(jì)的例子中引入了Handy-W

9、einberg均衡,Bacterial Clump,用顯微鏡檢查0.01毫升牛奶中的細(xì)菌群的數(shù)量.計(jì)量方法是每個(gè)方格子里的數(shù)量看起來(lái)用泊松分布是不錯(cuò)的以下數(shù)據(jù)來(lái)自Bliss and Fisher (1953),Bacterial Clump,Fisher重新檢驗(yàn)孟德?tīng)?Mendel)的數(shù)據(jù),現(xiàn)代基因理論的結(jié)果,孟德?tīng)柕挠^測(cè)結(jié)果,Pearson卡方統(tǒng)計(jì)量＝0.604,泊松散布度檢驗(yàn)(dispersion test),泊松分布的特點(diǎn)是均

10、值和方差相等,泊松散布度檢驗(yàn)(dispersion test),泊松散布度檢驗(yàn)(dispersion test),近似公式可以有如下解釋?zhuān)旱扔诜讲罟烙?jì)值除以均值估計(jì)值的比率的n倍,泊松分布的方差和均值相等，但一般情況下的數(shù)據(jù)的方差大于均值。因此這個(gè)檢驗(yàn)稱(chēng)為散布度檢驗(yàn),比如負(fù)二項(xiàng)分布和泊松分布相比就具有更大的散布程度,泊松散布度檢驗(yàn)：石棉纖維,,泊松散布度檢驗(yàn)：細(xì)菌菌落,,更多的評(píng)估擬合優(yōu)度的方法Hanging rootogram

11、sProbability plots正態(tài)性檢驗(yàn),Hanging rootograms,原理：用圖象展示觀測(cè)值和擬合值的直方圖之間的差異演示數(shù)據(jù)：來(lái)自Martin, Gudzinowicz and Fanger 1975，共152通常會(huì)用正態(tài)分布來(lái)擬合所得到的數(shù)據(jù),Hanging rootograms,Hanging rootograms,Probability plots,要對(duì)一組數(shù)據(jù)對(duì)某個(gè)理論分布的擬合程度進(jìn)行定性判斷，概率

12、圖是極為有用的一種圖形工具,Probability plots,均勻－均勻概率圖,Probability plots,概率圖,顯然這條曲線不是線性的,均勻-三角概率圖,概率圖：概率積分變換probability integral transformation,概率圖：特定的F(x),概率圖：Michelson光速測(cè)定實(shí)驗(yàn)結(jié)果,,,,正態(tài)性檢驗(yàn),,正態(tài)性檢驗(yàn),正態(tài)性檢驗(yàn),,比較兩個(gè)獨(dú)立樣本(Independent Samples),,

13、比較兩個(gè)獨(dú)立樣本：基于正態(tài)分布,比較兩個(gè)獨(dú)立樣本：基于正態(tài)分布方差已知,比較兩個(gè)獨(dú)立樣本：基于正態(tài)分布方差未知,比較兩個(gè)獨(dú)立樣本：基于正態(tài)分布方差未知,定理A的證明,統(tǒng)計(jì)量可以表示為U/V.,U服從標(biāo)準(zhǔn)正態(tài)分布.,V等于卡方隨機(jī)變量除以其分布自由度.,U/V服從t分布,比較兩個(gè)獨(dú)立樣本：基于正態(tài)分布方差未知,比較兩個(gè)獨(dú)立樣本：基于正態(tài)分布方差未知，例A,問(wèn)題：今有A和B兩種決定冰的熱功當(dāng)量的方法,此處放箱線圖,比較兩個(gè)獨(dú)立樣

14、本：基于正態(tài)分布方差未知，例A,自由度為19的t分布的.975分位點(diǎn)等于,2.093,即(.015,.065),兩樣本假設(shè)檢驗(yàn),雙側(cè)備擇假設(shè) two-sided alternative,單側(cè)備擇假設(shè) one-sided alternative,,,,兩樣本假設(shè)檢驗(yàn)，續(xù)例A,檢驗(yàn)H0對(duì)H1等價(jià)于似然比檢驗(yàn),求最大值：似然比的分子部分,求最大值：似然比的分母部分,似然比的計(jì)算結(jié)果,分子部分的變換,,如果方差不相等,以它為t統(tǒng)計(jì)量的分母，所

15、得到的統(tǒng)計(jì)量不再服從t分布，但近似服從自由度為下述結(jié)果取整之后的結(jié)果的t分布,教材例11.2.1.1[待處理],教材例11.2.1.1,下面是對(duì)數(shù)變換的模型,變異系數(shù)(coefficient of variation),一個(gè)分布的標(biāo)準(zhǔn)差和均值的比率稱(chēng)為變異系數(shù)(coefficient of variation),,對(duì)于變換后的數(shù)據(jù)，t統(tǒng)計(jì)量為.917，p-值為.37。,沒(méi)有理由拒絕原假設(shè)。95%置信區(qū)間是(-.61,.23),功效

16、(power),計(jì)算功效對(duì)于在規(guī)劃實(shí)驗(yàn)時(shí)確定樣本量的大小具有重要意義。檢驗(yàn)的功效是在原假設(shè)為假的時(shí)候拒絕原假設(shè)的概率。,影響兩樣本t檢驗(yàn)的四個(gè)要素包括：,功效的計(jì)算,,,,例A。兩樣本比較。樣本量均為18，來(lái)自正態(tài)總體，標(biāo)準(zhǔn)差都是5，顯著性水平.05。,,非參數(shù)方法：Mann-Whitney檢驗(yàn),這個(gè)檢驗(yàn)也叫Wilcoxon秩和檢驗(yàn)(Wilcoxon Rank Sum Test),將m+n次實(shí)驗(yàn)分配給處理組和對(duì)照組，隨機(jī)抽取n個(gè)分

17、配給對(duì)照組，剩下的m個(gè)給處理組,要檢驗(yàn)的原假設(shè)是處理沒(méi)有效應(yīng)。如果原假設(shè)通過(guò)檢驗(yàn)，就說(shuō)明結(jié)果中的差異是由隨機(jī)化造成的,統(tǒng)計(jì)量的計(jì)算方法如下,1、將m+n個(gè)觀測(cè)值放在一起，按照升序排列。（為簡(jiǎn)化問(wèn)題，假定沒(méi)有并列名次。實(shí)際上，出現(xiàn)并列名次并不影響我們的計(jì)算）。2、計(jì)算來(lái)自對(duì)照組的觀測(cè)值的秩的和3、如果秩和太大或者太小就可以拒絕原假設(shè),Mann-Whitney檢驗(yàn)的簡(jiǎn)單例子,4位受試，隨機(jī)抽取其中兩名進(jìn)入處理組，剩下兩名在對(duì)照組,

18、表中的數(shù)據(jù)是實(shí)驗(yàn)結(jié)果（響應(yīng)值），括號(hào)中出現(xiàn)的是這個(gè)值的秩,對(duì)照組的秩和等于7，處理組的秩和等于3,這個(gè)差異足以讓我們相信在處理組和對(duì)照組的結(jié)果之間存在系統(tǒng)的差別嗎？讓我們來(lái)做一個(gè)概率計(jì)算。,Mann-Whitney檢驗(yàn)的簡(jiǎn)單例子,Mann-Whitney檢驗(yàn)的關(guān)鍵思想是：我們可以用顯式公式計(jì)算原假設(shè)下的秩和分布。,在原假設(shè)下，所有觀測(cè)值的秩的組合都是等概率的。這樣一共有4!=24種結(jié)果。特別地，處理組的結(jié)果的秩有6種，也應(yīng)該是

19、等概率出現(xiàn)的。,Mann-Whitney檢驗(yàn),實(shí)際中的檢驗(yàn)問(wèn)題不可能有這么小的m和n,Mann-Whitney檢驗(yàn)：例A,數(shù)據(jù)來(lái)自教材423頁(yè)，例A,排序結(jié)果，有并列排名,并列排名的處理方式：比如有4個(gè)值都等于79.97。它們占據(jù)的名次為3,4,5和6，則每個(gè)數(shù)的秩都等于,(3+4+5+6)/4=4.5,Mann-Whitney檢驗(yàn)：例A,Mann-Whitney檢驗(yàn)：定理A,證明提示：利用教材7.3.1的定理A和B,Mann-

20、Whitney檢驗(yàn)：定理A的證明,Mann-Whitney檢驗(yàn),Mann-Whitney檢驗(yàn)不依賴(lài)正態(tài)假設(shè)用排序名次取代實(shí)際數(shù)字，對(duì)離群值不敏感可以證明，如果正態(tài)假設(shè)成立，則Mann-Whitney檢驗(yàn)和t分布的功效幾乎相等下面我們用另一種觀點(diǎn)看待Mann-Whitney檢驗(yàn),Mann-Whitney檢驗(yàn),Mann-Whitney檢驗(yàn),Mann-Whitney檢驗(yàn),,,Mann-Whitney檢驗(yàn),,貝葉斯方法,貝葉斯方法,貝葉斯

21、方法,解釋是完全不一樣的,貝葉斯方法,補(bǔ)充例題,比較配對(duì)樣本comparing paired samples,許多實(shí)驗(yàn)中使用的不是獨(dú)立樣本，而是配對(duì)樣本。,醫(yī)學(xué)實(shí)驗(yàn)。受試可能按照年齡、體重或者患病程度配對(duì)，然后每個(gè)對(duì)中的一個(gè)成員會(huì)被隨機(jī)分到處理組，另一個(gè)進(jìn)入對(duì)照組。,或者，對(duì)是由同一位受試在計(jì)量“之前”和“之后”構(gòu)成,關(guān)鍵問(wèn)題是如何處理“不獨(dú)立”樣本的相關(guān)性,比較配對(duì)樣本,比較配對(duì)樣本,配對(duì)實(shí)驗(yàn)的優(yōu)勢(shì)在于，如果X和Y的相關(guān)系數(shù)大于