廣義熵的Bayes估計(jì)方法.pdf

1、1948年，C. E. Shannon將熱力學(xué)系統(tǒng)中熵的概念引入到信息論中，標(biāo)志著現(xiàn)代信息論的誕生。隨后，Shannon熵的估計(jì)被應(yīng)用在工程學(xué)、生物醫(yī)藥學(xué)和生物化學(xué)等方面。
　　學(xué)者們?yōu)榱私鉀Q生活中的實(shí)際問題，又提出了其他不同形式的廣義熵，如Tsallis熵和Renyi熵。在統(tǒng)計(jì)分析中，廣義熵的應(yīng)用研究越來越受到學(xué)者們的關(guān)注。本文主要討論離散型隨機(jī)變量的廣義熵，將熵的估計(jì)由 Shannon熵推廣到 Tsallis熵和Renyi熵。

2、在Shannon熵極大似然估計(jì)方法的基礎(chǔ)上，得到Shannon熵的Bayes估計(jì)方法，并將其與極大似然估計(jì)方法進(jìn)行比較。進(jìn)一步，本文推導(dǎo)出廣義熵中具有代表性的Renyi熵和Tsallis熵的Bayes估計(jì)方法。
　　運(yùn)用 Matlab軟件，以概率(0.1,0.4,0.5)產(chǎn)生樣本容量為 N的隨機(jī)數(shù)。用每個(gè)數(shù)的頻率代替概率，得到傳統(tǒng)熵估計(jì)的極大似然估計(jì)方法。將每個(gè)數(shù)出現(xiàn)的相應(yīng)次數(shù)，代入到Bayes估計(jì)式中。通過Matlab運(yùn)算出樣本

3、容量為N的Bayes估計(jì)值。改變N的大小，經(jīng)過多次試驗(yàn)，得到一組極大似然估計(jì)值與Bayes估計(jì)值，并將兩種方法進(jìn)行比較。由誤差平方和可以看出 Shannon熵的Bayes估計(jì)效果更好一些，然而Tsallis熵的Bayes估計(jì)并沒有顯現(xiàn)出更好的效果?？梢钥紤]改變q的值以及進(jìn)行大量的隨機(jī)試驗(yàn)，再將Tsallis熵的Bayes估計(jì)方法與極大似然估計(jì)方法進(jìn)行對(duì)比。雖然廣義熵的Bayes估計(jì)方法并不一定是最優(yōu)的，但從廣義熵的應(yīng)用角度來看，仍具有一