[學(xué)習(xí)]概論與統(tǒng)計課件第七章參數(shù)估計

1、引 言,上一章，我們介紹了總體、樣本、簡單隨機(jī)樣本、統(tǒng)計量和抽樣分布的概念，介紹了統(tǒng)計中常用的三大分布，給出了幾個重要的抽樣分布定理. 它們是進(jìn)一步學(xué)習(xí)統(tǒng)計推斷的基礎(chǔ).,,參數(shù)估計問題,假設(shè)檢驗(yàn)問題,,點(diǎn)估計,區(qū)間估計,,統(tǒng)計推斷 的基本問題,第七章 參數(shù)估計,參數(shù)的點(diǎn)估計 點(diǎn)估計的優(yōu)良性準(zhǔn)則 區(qū)間估計,在實(shí)際問題中,我們根據(jù)問題本身的專業(yè)知識或以往的經(jīng)驗(yàn)或適當(dāng)?shù)慕y(tǒng)計方法,有時可以判斷總體分布的類型. 總體分布的參

2、數(shù)往往是未知的,需要通過樣本來估計.,例如 (1) 為了研究人們的市場消費(fèi)行為,我們要先搞清楚人們的收入狀況. 假設(shè)某城市人均年收入X～N(?,?2). 但參數(shù) ? 和 ?2 的具體值并不知道,需要通過樣本來估計. (2) 假定某城市在單位時間(譬如一個月)內(nèi)交通事故發(fā)生次數(shù) X ～ P(?). 參數(shù)?未知,需要從樣本來估計.,通過樣本來估計總體的參數(shù),稱為參數(shù)估計,它是統(tǒng)計推斷的一種重要形式.,參數(shù)估計,點(diǎn)估計,區(qū)

3、間估計,（假定身高服從正態(tài)分布N(μ，0.12））,設(shè)這5個數(shù)是:,1.65 1.67 1.68 1.78 1.69,估計 為1.68，,這是點(diǎn)估計.,這是區(qū)間估計.,例如我們要估計某隊男生的平均身高.,現(xiàn)從該總體選取容量為5的樣本，我們的任務(wù)是要根據(jù)選出的樣本（5個數(shù)）求出總體均值 的估計. 而全部信息就由這5個數(shù)組成 .,從總體 X 中抽取樣本(X1, X2, …, X n ),,,,參數(shù)的 估計量,,

4、參數(shù)的 估計值,,設(shè)總體X的分布函數(shù)為F(x, ? ), ? 未知， ? 的取值 范圍稱為 參數(shù)空間 。記作? 。現(xiàn)估計? 。步驟如下：,參數(shù)估計問題的一般步驟,問題　如何構(gòu)造統(tǒng)計量？,構(gòu)造點(diǎn)估計的估計量的具體方法有多種，在此，介紹兩種方法。,1. 矩估計法,2. 極大似然法,1.1 矩估計法,矩估計法是英國統(tǒng)計學(xué)家K.皮爾遜最早提出來的 .,由辛欽大數(shù)定理 ,,若總體 的數(shù)學(xué)期望

5、有限,,則有,這表明 , 當(dāng)樣本容量很大時 , 在統(tǒng)計上 , 可以用樣本各階矩去估計總體相應(yīng)的各階矩.,用樣本各階矩去估計總體相應(yīng)的各階矩。,------矩估計法的基本思想,按以上思想方法去獲得未知參數(shù)點(diǎn)估計的方法叫做矩法。,用矩法所確定的估計量稱為矩估計量，,相應(yīng)的估計值稱為矩估計值，,矩估計量與矩估計值統(tǒng)稱為矩估計,矩估計法的理論依據(jù):,大數(shù)定律,矩估計法的具體做法如下,設(shè)總體X的分布形式是已知的，?1, ?2…… ,?k是k個未

6、知參數(shù)，樣本(X1, X2, …, X n )來自總體 X。假定總體X的m階原點(diǎn)矩EXm存在，一般地，,都是這 k 個參數(shù)的函數(shù),記為：,m=1,2, … ,k,取樣本的m階原點(diǎn)矩 作為總體的m階原點(diǎn)矩EXm的估計,得方程組：,—— 含未知參數(shù)?1,?2, ?,?k的方程組．,解方程組，得 k 個統(tǒng)計量：,——未知參數(shù)?1,?2, ?,?k 的矩估計量．,代入一

7、組樣本值得k個數(shù),——未知參數(shù)?1,?2, ?,?k 的矩估計值．,例2：設(shè)樣本(X1, X2, …, X n )來自總體 X~N( ? ,? 2)， 求? 與? 2 的矩估計量。,解：,例1：設(shè)樣本(X1, X2, …, X n )來自總體 X，且總體的均值 ? 未知， 求 ? 的矩估計量。,解：,總體 X 的均值 ?矩估計量為一階樣本原點(diǎn)矩,?和σ2的矩估計量分別為樣本的一階原點(diǎn)矩和二階中心矩,例3

8、：設(shè)樣本(X1, X2, …, X n )來自總體 X~P( ?)， 求 ? 的矩估計量。,解：,另一方面：EX2 = DX + (EX)2 = ?+ ?2 ，所以：,,此例說明：矩估計可以不唯一。此時，一般取低階矩得到的那一個。,一階樣本原點(diǎn)矩作為 ? 的矩估計量,例4：設(shè)樣本(X1, X2, …, X n )來自總體 X，X服從[?1, ?2]上的均勻分布，求?1和 ?2 的矩估計量。,解：這是兩個參數(shù)的矩估計問題。,由,解得,

9、EX2 = DX + (EX)2,P148例4,例5：已知總體的X的均值EX= ?， 方差DX=? 2>0, 其中? 與? 2未知, 樣本(X1, X2, …, X n )來自總體 X，求? 與? 2的矩估計量。,解：,無論總體的分布形式如何，總體均值?和方差σ2的矩估計量分別為樣本均值和樣本二階中心矩。,矩法的優(yōu)點(diǎn)是簡單易行,并不需要事先知道總體是什么分布 .,缺點(diǎn)是，當(dāng)總體類型已知時，沒有充分利用分布提供的信息 . 一般場

10、合下, 矩估計量不具有唯一性 .,其主要原因在于建立矩法方程時，選取哪些總體矩用相應(yīng)樣本矩代替帶有一定的隨意性 .,1.2 極大似然估計法,極大似然估計作為一種點(diǎn)估計方法最初是由,德國數(shù)學(xué)家高斯(Gauss)于1821年提出，英國統(tǒng)計,學(xué)家費(fèi)歇爾(R.A.Fisher)在1922年作了進(jìn)一步發(fā)展,使之成為數(shù)理統(tǒng)計中最重要應(yīng)用最廣泛的方法之一.,Gauss,Fisher,極大似然估計法是建立在極大似然原理的基礎(chǔ)上的一個統(tǒng)計方法。,極大

11、似然原理的直觀想法是：一次試驗(yàn)就出現(xiàn),的事件有較大的概率. 即：一個試驗(yàn)如有若干個,可能結(jié)果 ,若在一次試驗(yàn)中，結(jié)果 出現(xiàn),,則認(rèn)為 出現(xiàn)的概率最大.,例如: 有兩外形相同的箱子,各裝100個球 一箱 99個白球 1 個黑球 一箱 1 個白球 99個黑球,現(xiàn)從兩箱中任取一箱, 并從箱中任取一球,結(jié)果所取得的球是白球.,問:

12、所取的球來自哪一箱？,答: 第一箱.,假定一個盒中黑球和白球兩種球的數(shù)目之比,,為 3:1，但不知哪種球多 ， 表示從盒中任取一球,是黑球的概率，那么 或 , 現(xiàn)在有放回地,從盒中抽3個球，試根據(jù)樣本中的黑球數(shù) 來估計,參數(shù) .,解,,隨機(jī)變量 ，即,,例,估計 只需在 和 之間作出選擇

13、.,計算這兩種情況下 的分布律：,的估計,根據(jù)極大似然原理，應(yīng)該尋找使事件發(fā)生的概率最大的參數(shù)值作為未知參數(shù)的估計值。,1. 似然函數(shù),進(jìn)行一次具體的抽樣之后， (X1, X2, …, X n ) 得到一組觀察值 (x1, x2, …, x n )。是一組確定的數(shù)，把它們代入上式，則,設(shè)總體分布(以離散型為例)為P(X=x)=P(x,?1, ?2…… ,?k), （?1, ?2…… ,?k )∈Θ未知，樣本(X1, X2,

14、…, X n )來自總體 X，則樣本(X1, X2, …, X n )的概率分布函數(shù)為：,僅為（?1, ?2…… ,?k )∈Θ的函數(shù)。把它記作 并稱,為參數(shù)（?1, ?2…… ,?k )的似然函數(shù)。,進(jìn)行一次具體的抽樣之后， (X1, X2, …, X n ) 得到一組觀察值 (x1, x2, …, x n )。是一組確定的數(shù)，把它們代入上式，則,若總體X為連續(xù)性隨機(jī)變量，

15、其密度函數(shù)為分布為f(x,?1, ?2…… ,?k), （?1, ?2…… ,?k )∈Θ未知，樣本(X1, X2, …, X n )來自總體 X，則樣本(X1, X2, …, X n )的密度函數(shù)為：,僅為（?1, ?2…… ,?k )∈Θ的函數(shù)。把它記作 并稱,為參數(shù)（?1, ?2…… ,?k )的似然函數(shù)。,可見，似然函數(shù)實(shí)質(zhì)上是樣本的概率分布或密度函數(shù)。,2.極大似

16、然法,當(dāng)給定一組樣本值時，似然函數(shù)L (?1, ?2…… ,?k )為參數(shù)(?1, ?2…… ,?k )的函數(shù)，極大似然估計法的思想就是：,選擇使似然函數(shù)L (?1, ?2…… ,?k )達(dá)到最大值的點(diǎn),作為為參數(shù)(?1, ?2…… ,?k )的估計。,定義1.1,若存在樣本值 (x1, x2, …, x n )的函數(shù),使似然函數(shù)L (?1, ?2…… ,?k )達(dá)到最大值，即,則稱,為參數(shù)?i的極大似然估計值；,稱相應(yīng)的統(tǒng)計量,為?

17、i的極大似然估計量；,極大似然估計值和極大似然估計量統(tǒng)稱為極大似然估計。,3、極大似然估計（離散型總體）的步驟,,極大似然估計（連續(xù)型總體）的步驟,,下面舉例說明如何求參數(shù)的極大似然估計。,試求參數(shù)p的極大似然估計量,故似然函數(shù)為,例1：,試求參數(shù)p的極大似然估計量,故似然函數(shù)為,例1：,故似然函數(shù)為,例2：,似然函數(shù)為：,例3：,例4：,例5：,例6：,極大似然法求估計量的步驟：(一般情況下),說明：若似然方程（組）無解，或似然函數(shù)不

18、可導(dǎo)， 此法失效，改用其它方法。,例7：,,,方程組無解,點(diǎn)估計,,矩估計法,基本步驟,,,極大似然估計法,基本步驟,,第二節(jié) 點(diǎn)估計的優(yōu)良性準(zhǔn)則,我們知道，一個未知參數(shù)的估計量可能不止一個。究竟采用哪個為好呢？這就涉及到用什么標(biāo)準(zhǔn)來評價估計量的問題。我們介紹三個常用的標(biāo)準(zhǔn)： 1）無偏性； 2）有效性； 3）一致性。,2.1 無偏

19、性,根據(jù)樣本推得的估計值與真值可能不同， 然而，如果有一系列抽樣構(gòu)成各個估計，很合理地會要求這些估計的期望值與未知參數(shù)的真值相等，它的直觀意義是樣本估計量的數(shù)值在參數(shù)的真值周圍擺動，而無誤差，這就是估計量的無偏性。,定義2.1：設(shè)總體X的分布中含有未知參數(shù)? ?? ，? 為參數(shù)空間，樣本(X1, X2, …, X n)來自 X， ，若,例1：設(shè)

20、總體X 有期望 EX=? 與方差 DX=? 2，? 與? 2 都未知。 樣本(X1, X2, …, X n)來自 X，試證： (1) 樣本均值 是總體均值?的無偏估計； (2) 樣本方差S2是? 2的無偏估計； (3) 樣本標(biāo)準(zhǔn)差S不是標(biāo)準(zhǔn)差? 的無偏估計； (4) B2不是? 2的無偏估計。,證： 由定理知： (1),(2) ES2=? 2,這個結(jié)論與總

21、體的分布類型沒有關(guān)系。只要總體期望和方差存在， 樣本均值總是總體期望的無偏估計，樣本方差總是總體方差的無偏估計,(3) 由DS=ES2 - (ES)2=? 2 - (ES)2，得,所以，樣本標(biāo)準(zhǔn)差S不是標(biāo)準(zhǔn)差? 的無偏估計。,(4) 因,所以，二階樣本中心矩B2不是總體方差? 2的無偏估計。因此，通常把B2的分母修正為n-1獲得樣本方差S2作為總體方差? 2的估計。,例2：設(shè)總體X 的期望值 EX=?未知，方差 DX有限， 樣本

22、(X1, X2, …, X n)來自 X，試證：,所以，未知參數(shù)? 的無偏估計量往往有許多個， 在這些估計量中，當(dāng)然是取值對于? 的離散程度越小的 越好，即方差越小的越好。,2.2 無偏估計的有效性,定義2.2：設(shè)總體X的分布中含有未知參數(shù)? ?? ，? 為參數(shù)空間，樣本(X1, X2, …, X n)來自 X，,解：DX1=DX=? 2,解：所謂線性估計是指,為樣本的線性函數(shù)，,2.3 一致性（相合性）,例：,樣本

23、均值 是總體均值μ的一致估計值.,結(jié)論1：,樣本方差 是總體方差 的一致估計值.,結(jié)論2：,要求：,當(dāng)樣本容量 n 無限增大時，估計量能在某種意義下充分接近被估計的參數(shù)。,引言,前面，我們討論了參數(shù)點(diǎn)估計. 它是用樣本算得的一個值去估計未知參數(shù). 但是，點(diǎn)估計值僅僅是未知參數(shù)的一個近似值，它沒有反映出這個近似值的誤差范圍，使用起來把握不大. 區(qū)間估計正好彌補(bǔ)了點(diǎn)估計的這個缺陷 .,§ 6.3

24、 區(qū)間估計,,譬如，在估計湖中魚數(shù)的問題中，若我們根據(jù)一個實(shí)際樣本，得到魚數(shù) N 的極大似然估計為1000條.,若我們能給出一個區(qū)間，在此區(qū)間內(nèi)我們合理地相信 N 的真值位于其中. 這樣對魚數(shù)的估計就有把握多了.,實(shí)際上，N的真值可能大于1000條，也可能小于1000條.,也就是說，我們希望確定一個區(qū)間，使我們能以比較高的可靠程度相信它包含真參數(shù)值.,,湖中魚數(shù)的真值,[ ],,這里所說的“可靠程度”是用概率來度量的

25、 ，稱為置信度或置信水平.,一、區(qū)間估計的基本概念,的可靠性。,置信區(qū)間表示估計結(jié)果的精確性，,而置信概率則表示這一結(jié)果,通常，置信系數(shù)（可靠性）采用 0.95, 0.99, 0.90 等值。,,未知參數(shù)θ的置信區(qū)間，稱為參數(shù)θ的區(qū)間估計。,對于已給的置信概率1-α，,根據(jù)樣本觀測值來確定,可見，,區(qū)間估計:,1.可靠度：要求區(qū)間以很大的可能性包含? 即：,2.精度：估計的精度要盡可能高, 即 區(qū)間的長度要盡可能小, 或

26、能體現(xiàn)此要求的其它準(zhǔn)則。,在保證可靠度的條件下，盡量提高精度,可靠度和精度要統(tǒng)籌兼顧,,,在求置信區(qū)間時，要查表求分位點(diǎn).,二、置信區(qū)間的求法,教材已經(jīng)給出了概率分布的上側(cè)分位數(shù)（分位點(diǎn)）的定義，為便于應(yīng)用，這里我們再簡要介紹一下.,標(biāo)準(zhǔn)正態(tài)分布的臨界值（? 分位點(diǎn)）,?2分布的臨界值（? 分位點(diǎn)）,例：,t 分布的臨界值（? 分位點(diǎn)）,例：,1. 397,例：,樞軸變量法求置信區(qū)間,(1) 找與?有關(guān)的統(tǒng)計量 T (一般T是?

27、的點(diǎn)估計),(2)找一個函數(shù) I=I(T, ? ), I 的分布F與 ? 無關(guān)( I(T,? )為樞軸變量),(3)對給定的 1- ? ，找到F 的上分位點(diǎn) 和,三、正態(tài)總體未知參數(shù)的區(qū)間估計（樞軸變量法）,1、均值? 的區(qū)間估計,,(1) ? 2已知,設(shè)總體X ~N(? ,? 2)，樣本 (X1, X2, …, Xn) 來自總體X 。,所以 ? 的置信系數(shù)為1-? 的置信區(qū)間：,樞軸變量為,(2) ? 2未

28、知,所以 ? 的置信系數(shù)為1-? 的置信區(qū)間：,,樞軸變量為,例1：從大批燈泡中隨機(jī)地抽取5個,測得壽命為(單位: 小時)：1650, 1700, 1680, 1820, 1800，假定燈泡壽命X~N(? , 9)，求這批燈泡平均壽命的區(qū)間估計 （? = 0.05）。,解：方差? 2=9已知，利用公式：,,P(1727.37? ? ?1732.63)=0.95,注,,例2 ：從大批燈泡中隨機(jī)地抽取5個,測得壽命為(單位: 小時)：

29、1650, 1700, 1680, 1820, 1800，假定燈泡壽命X~N( ?, ? 2)，求這批燈泡平均壽命的區(qū)間估計 （? = 0.05）。,,解：方差? 2未知，利用公式：,,2、方差的區(qū)間估計,(1) ? 已知,? 2 的置信系數(shù)為1-?的區(qū)間估計為：,樞軸變量為,,,(2) ? 未知,? 2 的置信系數(shù)為1-?的區(qū)間估計為：,,樞軸變量為,查 ? 2 分布表得 ? 20.025(5)=12.833

30、， ? 20.975(5)=0.831。所以，得方差的區(qū)間估計為 [0.055 , 0.842]。,例3：對某塔的高度進(jìn)行了 5 次測量，數(shù)據(jù)（單位：米）如下：90.5, 90.4, 89.7, 89.6, 90.2，設(shè)測量數(shù)據(jù)服從正態(tài)分布，求方差的區(qū)間估計（? = 0.05）。 (1) 假設(shè)塔的真實(shí)高度為 90米。 (2) 假設(shè)塔的真實(shí)高度未知。,解：(1) 利用公式：,計算得：,,

31、,(2) 利用公式：,,計算得：,查?2分布表得? 20.025(4)=11.143， ? 20.975(4)=0.484。 所以，得方差的區(qū)間估計為 [0.060 , 1.380]。,1、均值差? 1 -?2的區(qū)間估計,(1) ? 12 ,, , ?22都已知,令樞軸變量為,,所以 ? 1 -?2的置信系數(shù)為1-? 的置信區(qū)間：,解：由? = 0.1，查標(biāo)準(zhǔn)正態(tài)分

32、布表得 U?/2=U0.05=1.645因 n1=10，n2=12, ?12=25, ?22 =36，所以，,例1：設(shè)自總體X~N(?1 ,25)得到一容量為10的樣本，其樣本均值 ，自總體Y~N(?1 ,36)得到一容量為12的樣本，其樣本均值 , 并且兩樣本 相互獨(dú)立,求? 1 -?2的置信區(qū)間（? = 0.1）。,得? 1 -?2的置信區(qū)間為 [-8.06,-0.34]。,(2)

33、? 12 ,,=?22= ?2 ,但?2未知,令樞軸變量為 定理（5.10）,所以 ? 1 -?2的置信系數(shù)為1-? 的置信區(qū)間：,解：由抽樣的隨機(jī)性可推知樣本燈泡相互獨(dú)立，又因?yàn)樗鼈兊目傮w方差相等，所以由,得? 1 -? 2的置信區(qū)間為 [-36.53,76.53]。,例2：為比較A,B兩種型號燈泡的壽命， 隨機(jī)抽取A型燈泡5只，測得 ，標(biāo)準(zhǔn)差SA=28小時，隨機(jī)抽取B型燈泡5只，測得

34、 ，標(biāo)準(zhǔn)差SB=32小時，設(shè)總體都是正態(tài)的，并且由生產(chǎn)過程知它們的方差相等. 求? 1 -?2 的置信區(qū)間（? = 0.01）,因 n1=5，n2=7, SA=28, SB =32,而 ? = 0.01，查t-分布表得 t?/2(10)= t0.005(10 )= 3.169 , ， 所以,令樞軸變量為,2、兩個正態(tài)總體方差比 的區(qū)

35、間估計,所以方差比 的置信系數(shù)為1-?的置信區(qū)間為,例3：兩正態(tài)總體X~N(?1 ,?12)和Y~N(?2 ,?22)的參數(shù)均未知，依次取容量為25 ，15的兩獨(dú)立樣本，測得 ，樣本方差依次為6.38 ，5.15 ，求兩個正態(tài)總體方差比 的置信區(qū)間（? = 0.1）,所以方差比 的置信系數(shù)為1-?的置信區(qū)間為[ 0.527，2.639],解：因 n1=25，n2=15, S12/S22 =6.38/5.15=1.