參數(shù)估計的基本理論

1、1第3章參數(shù)估計的基本理論參數(shù)估計的基本理論信號檢測：通過準(zhǔn)則來判斷信號有無；參數(shù)估計：由觀測量來估計出信號的參數(shù)；解決1）用什么方法求取參數(shù)，2）如何評價估計質(zhì)量或者效果嚴(yán)格來講，這一章研究的是參數(shù)的統(tǒng)計估計方法，它是數(shù)理統(tǒng)計的一個分支。推薦兩本參考書高等教育出版社《數(shù)理統(tǒng)計導(dǎo)論》，《NonlinearParameterEstimation》。我們首先從一個估計問題入手，來了解參數(shù)估計的基本概念。3.1估計的基本概念估計的基本概念3.

2、1.1估計問題估計問題對于觀察值是信號和噪聲疊加的情況：xsn??xsn???其中是信號的參數(shù)，或就是信號本身。若能找到一個函數(shù)，利用?s???fx可以得到參數(shù)的估計值，相對估計值，稱為參數(shù)的真值。則稱??12Nfxxx???????為參數(shù)的一個估計量。記作。??12Nfxxx?????12Nfxxx???在上面的方程中，去掉n實(shí)際上是一個多元方程求解問題。這時，如果把n看作是一種干擾或攝動，那么就可以用解確定性方程的方法來得出。但是我

3、們要??fx研究的是參數(shù)的統(tǒng)計估計方法，所以上面的描述并不適合我們的討論。下面給出估計的統(tǒng)計問題描述。（點(diǎn)估計）設(shè)隨機(jī)變量具有某一已知函數(shù)形式的概率密度函數(shù)，但是該函數(shù)依賴于未知x參數(shù)，，稱為參數(shù)空間。因此可以把的概率密度函數(shù)表示為一個函數(shù)?????x族。表示隨機(jī)樣本，其分布取自函數(shù)族的某一成員，問)(?xpNxxx21?)(?xp題是求統(tǒng)計量，作為參數(shù)的一個估計量。???12Nfxxx????以上就是用統(tǒng)計的語言給出的參數(shù)估計問題的描

4、述。關(guān)于“統(tǒng)計量”的定義：不依賴于未知參數(shù)的一元（或多元）隨機(jī)變量的函數(shù)。3估計，否則為有偏估計。?E???????在有偏估計中，如果隨著樣本數(shù)的不斷增大，偏差趨向于0，即：N?b?則該估計稱為漸進(jìn)無偏估計?lim0Nb????讓我們分析例31的無偏性，注意數(shù)學(xué)期望是一個線性算子。??Es???Ex?????11NExExN????????????11NsEnsEnN?????????????11NsEnEnN?????????如果噪聲

5、是零均值的，即，或?qū)λ杏?，則in????10NEnEn????i??0iEn?是的一個無偏估計。s?s從數(shù)理統(tǒng)計這門課，我們知道樣本方差對于???????NkkxNkxknxNxN11221)(1????方差是有偏的，因?yàn)闊o偏估計量是。但2n?221111?()1NNnubiaskxxkkkxxNN???????????是樣本方差是漸進(jìn)無偏的。直覺上，一個好的估計量應(yīng)當(dāng)具有無偏性，但是實(shí)際上完全的無偏性通常是達(dá)不到的，只能希望小的偏差

6、。而且估計的偏差也不是特別地的重要，因?yàn)楣烙嬚`差不僅僅是偏差。估計的偏差和估計誤差不是一回事，偏差只代表估計量的系統(tǒng)誤差。都是s的無偏估計量，系統(tǒng)誤差都為零。接下來，要研究估計誤差的另一1xx?個性質(zhì)——估計的方差，它反映了估計量的隨機(jī)誤差大小。3.1.3估計的方差和估計的方差和CramerRao（克拉美（克拉美勞）不等式勞）不等式估計的方差：??????22?EE??????????方差：估計值相對于均值的分散程度。即越大就越發(fā)散，反