[學(xué)習(xí)]概率論與數(shù)理統(tǒng)計(jì)柴中林第17講

1、,,概率論與數(shù)理統(tǒng)計(jì)第十七講,主講教師：柴中林副教授,中國(guó)計(jì)量學(xué)院理學(xué)院,,,第七章: 參數(shù)估計(jì),數(shù)理統(tǒng)計(jì)的任務(wù)： ● 總體分布類(lèi)型的判斷； ● 總體分布中未知參數(shù)的推斷(參數(shù)估計(jì)與 假設(shè)檢驗(yàn))。,參數(shù)估計(jì)問(wèn)題的一般提法,設(shè)總體 X 的分布函數(shù)為 F( x, θ )，其中θ 為未知參數(shù)或參數(shù)向量，現(xiàn)從該總體中抽樣,得到樣本,X1, X2 , … , Xn .,依樣本對(duì)參數(shù)θ 做出估計(jì)，或估計(jì)參數(shù) θ 的某個(gè)已知函數(shù) g

2、(θ ) 。,這類(lèi)問(wèn)題稱(chēng)為參數(shù)估計(jì)。,參數(shù)估計(jì)包括：點(diǎn)估計(jì)和區(qū)間估計(jì)。,稱(chēng)該計(jì)算值為 µ 的一個(gè)點(diǎn)估計(jì)。,為估計(jì)參數(shù) µ，需要構(gòu)造適當(dāng)?shù)慕y(tǒng)計(jì)量 T( X1, X2 , … , Xn )，一旦當(dāng)有了樣本，就將樣本值代入到該統(tǒng)計(jì)量中，算出一個(gè)值作為 µ 的估計(jì)，,尋求估計(jì)量的方法,1. 矩估計(jì)法,2. 極大似然法,3. 最小二乘法,4. 貝葉斯方法 …,我們僅介紹前面的兩

3、種參數(shù)估計(jì)法 。,其思想是: 用同階、同類(lèi)的樣本矩來(lái)估計(jì)總體矩。,矩估計(jì)是基于“替換”思想建立起來(lái)的一種參數(shù)估計(jì)方法 。,最早由英國(guó)統(tǒng)計(jì)學(xué)家 K. 皮爾遜 提出。,§7.1 矩估計(jì),矩估計(jì)就是用相應(yīng)的樣本矩去估計(jì)總體矩。,設(shè)總體 X 的分布函數(shù)中含 k 個(gè)未知參數(shù),步驟一：記總體 X 的 m 階原點(diǎn)矩 E(Xm)為 am , m = 1,2,…,k.,am(?1,?2,…,?k), m =1, 2, …, k.,一

4、般地, am (m = 1, 2, …, K) 是總體分布中參數(shù)或參數(shù)向量 (?1, ?2, …, ?k) 的函數(shù)。,故, am (m=1, 2, …, k) 應(yīng)記成:,步驟二：算出樣本的 m 階原點(diǎn)矩,步驟三：令,得到關(guān)于 ?1,?2,…,?k 的方程組(L≥k)。一般要求方程組(1)中有 k 個(gè)獨(dú)立方程。,步驟四：解方程組(1), 并記其解為,這種參數(shù)估計(jì)法稱(chēng)為參數(shù)的矩估計(jì)法，簡(jiǎn)稱(chēng)矩法。,解：先求總體的期望,例1：設(shè)總

5、體 X 的概率密度為,由矩法，令,樣本矩,總體矩,解得,為α 的矩估計(jì)。,注意：要在參數(shù)上邊加上“^”，表示參數(shù)的估計(jì)。它是統(tǒng)計(jì)量。,解: 先求總體的均值和 2 階原點(diǎn)矩。,例2：設(shè) X1,X2,…Xn 是取自總體 X 的簡(jiǎn)單樣本, X 有概率密度函數(shù),令y=(x-μ )/θ,令y=(x-μ )/θ,用樣本矩估計(jì)總體矩,得,列出方程組:,例3：設(shè)總體X的均值為?，方差為?2，求? 和?2 的矩估計(jì)。,解：由,故，均值?,方差?2的

6、矩估計(jì)為,求解，得,如：正態(tài)總體N(? , ?2) 中? 和?2的矩估計(jì)為,又如：若總體 X～ U(a, b)，求a, b的矩估計(jì)。,解：列出方程組,因,解上述方程組，得到 a,b 的矩估計(jì):,矩估計(jì)的優(yōu)點(diǎn)是：簡(jiǎn)單易行, 不需要事先知道總體是什么分布。,缺點(diǎn)是：當(dāng)總體的分布類(lèi)型已知時(shí)，未充分利用分布所提供的信息；此外，一般情形下，矩估計(jì)不具有唯一性 。,§7.2 極大似然估計(jì),極大似然估計(jì)法是在總體的分布類(lèi)型已知前提下，使

7、用的一種參數(shù)估計(jì)法 。,該方法首先由德國(guó)數(shù)學(xué)家高斯于 1821年提出，其后英國(guó)統(tǒng)計(jì)學(xué)家費(fèi)歇于 1922年發(fā)現(xiàn)了這一方法，研究了方法的一些性質(zhì)，并給出了求參數(shù)極大似然估計(jì)一般方法——極大似然估計(jì)原理 。,I. 極大似然估計(jì)原理,設(shè)總體 X 的分布 (連續(xù)型時(shí)為概率密度，離散型時(shí)為概率分布) 為 f(x, θ) , X1,X2,…,Xn 是抽自總體 X 的簡(jiǎn)單樣本。于是，樣本的聯(lián)合概率函數(shù) (連續(xù)型時(shí)為聯(lián)合概率密度，離散型時(shí)為聯(lián)合概率分

8、布) 為,被看作固定，但未知的參數(shù)。,,視為變量,將上式簡(jiǎn)記為 L(θ )，即,稱(chēng) L(θ )為θ 的似然函數(shù)。,視為變量,,視為固定值,假定現(xiàn)在我們觀測(cè)到一組樣本 X1, X2, …, Xn，要去估計(jì)未知參數(shù)θ 。,稱(chēng) 為θ 的極大似然估計(jì) (MLE)。,一種直觀的想法是：哪個(gè)參數(shù)(多個(gè)參數(shù)時(shí)是哪組參數(shù)) 使得現(xiàn)在的出現(xiàn)的可能性 (概率) 最大，哪個(gè)參數(shù)(或哪組參數(shù))就作為參數(shù)的估計(jì)。,這就是 極大似然估計(jì)原理。,如果,θ

9、可能變化空間,稱(chēng)為參數(shù)空間。,(4). 在最大值點(diǎn)的表達(dá)式中，代入樣本值， 就得參數(shù) θ 的極大似然估計(jì)。,II. 求極大似然估計(jì)(MLE)的一般步驟,. 由總體分布導(dǎo)出樣本的聯(lián)合概率函數(shù)(連 續(xù)型時(shí)為聯(lián)合概率密度, 離散型時(shí)為聯(lián)合 概率分布)；,(2). 把樣本的聯(lián)合概率函數(shù)中的自變量看成 已知常數(shù), 參數(shù)θ 看成自變量, 得到似然 函數(shù) L(θ

10、 )；,(3). 求似然函數(shù) L(θ ) 的最大值點(diǎn) (常常轉(zhuǎn)化 為求ln L(θ )的最大值點(diǎn)) ，即 θ 的MLE;,兩點(diǎn)說(shuō)明：,● 求似然函數(shù) L(θ ) 的最大值點(diǎn)，可應(yīng)用微積分中的技巧。由于 ln(x) 是 x 的增函數(shù)，所以 ln L(θ ) 與 L(θ ) 在 θ 的同一點(diǎn)處達(dá)到各自的最大值。假定 θ 是一實(shí)數(shù), ln L(θ )是 θ 的一個(gè)可微函數(shù)。通過(guò)求解似然方程,可以得到 θ 的MLE

11、。,● 用上述方法求參數(shù)的極大似然估計(jì)有時(shí)行不通，這時(shí)要用極大似然原理來(lái)求 。,若θ 是向量，上述似然方程需用似然方程組,代替 。,III. 下面舉例說(shuō)明如何求參數(shù)的MLE,例1: 設(shè)X1, X2, …, Xn是取自總體 X~B(1, p) 的一個(gè)樣本，求參數(shù) p 的極大似然估計(jì)。,解：似然函數(shù)為,對(duì)數(shù)似然函數(shù)為：,對(duì) p 求導(dǎo)，并令其等于零，得,,上式等價(jià)于,解上述方程，得,換成,換成,例2：求正態(tài)總體 N(?, ?2) 參數(shù) ?

12、 和 ?2 的極大似然估計(jì)(注: 我們把 ?2 看作一個(gè)參數(shù))。,解：似然函數(shù)為,對(duì)數(shù)似然函數(shù)為,似然方程組為,由第一個(gè)方程，得到,代入第二方程，得到,是L(?,?2)的最大值點(diǎn)，即 ? 和 ?2 的極大似然估計(jì)。,下面驗(yàn)證：似然方程組的唯一解是似然函數(shù)的最大值點(diǎn)。,例3：設(shè)總體 X 服從泊松分布 P(? )，求參數(shù)? 的極大似然估計(jì)。,解：由 X 的概率分布函數(shù)為,得? 的似然函數(shù),似然方程為,對(duì)數(shù)似然函數(shù)為,其解為,換成,換成,得?

13、 的極大似然估計(jì),例 4：設(shè) X ～U(a, b)，求 a, b 的極大似然估計(jì)。,解：因,所以,由上式看到：L(a,b)作為a和b的二元函數(shù)是不連續(xù)的，所以我們不能用似然方程組來(lái)求極大似然估計(jì)，而必須從極大似然估計(jì)的定義出發(fā)，求L(a,b)的最大值。,為使 L(a, b) 達(dá)到最大，b-a 應(yīng)該盡量地小。但 b不能小于 max{x1,x2,…,xn}。否則，L(a,b) = 0。類(lèi)似地，a 不能大于min{x1,x2,…,xn}。