基于信息理論的鑒別信息測(cè)量畢業(yè)論文

1、 1 / 31畢業(yè)論文基于信息理論的鑒別信息測(cè)量[摘要 摘要] 至今，在實(shí)際應(yīng)用的合理、明確環(huán)境中，我們?nèi)院茈y解釋詞所傳達(dá)的大量鑒別信息的含義，并且將詞之間的語(yǔ)義關(guān)聯(lián)程度概念成功且有意義地引入到科學(xué)討論中也不是那么容易的，本文就嘗試完成這個(gè)任務(wù)。我們?cè)噲D回答兩個(gè)重要問(wèn)題：1)鑒別信息中詞所所傳達(dá)的信息是什么以與我們?nèi)绾螠y(cè)量它？2）什么是詞之間 的關(guān)聯(lián)性以與怎樣去判斷

2、？我們專注于第一個(gè)問(wèn)題的研究，基于多種信息測(cè)量我們對(duì)鑒別測(cè)量進(jìn)行了深入地調(diào)查研究，這個(gè)研究如今已經(jīng)在很多領(lǐng)域得到了應(yīng)用。根據(jù)各自的鑒別測(cè)量，關(guān)聯(lián)性度量可以自然地確定。為闡明存在于關(guān)聯(lián)性度量的潛在問(wèn)題，一些關(guān)鍵點(diǎn)被提出，并提出了一些解決方法。本文提供了兩個(gè)在文本挖掘和信息檢索方面應(yīng)用的例子。研究的目的的本文的一個(gè)組成部分，它是建立一個(gè)以鑒別信息的測(cè)量為核心的統(tǒng)一理論框架，并實(shí)現(xiàn)有效的語(yǔ)義關(guān)聯(lián)的測(cè)量。由于它的普遍性，我們的方法將被期待在多個(gè)

3、領(lǐng)域被廣泛應(yīng)用。[索引詞 索引詞] 統(tǒng)計(jì)語(yǔ)義分析，鑒別信息的測(cè)量，語(yǔ)義關(guān)聯(lián)性的測(cè)量，識(shí)別信息術(shù)語(yǔ)，關(guān)鍵詞提取，文本挖掘，信息檢索1. 1.引言 引言本研究中主要有兩個(gè)點(diǎn):詞的鑒別信息測(cè)量和詞之間的語(yǔ)義關(guān)聯(lián)性度量。1.1 1.1 鑒別信息的測(cè)量 鑒別信息的測(cè)量詞之間的鑒別信息測(cè)量（MDI）問(wèn)題在科學(xué)研究的很多領(lǐng)域充當(dāng)了重要的角色，其中包括知識(shí)表達(dá)、機(jī)器學(xué)習(xí)和翻譯、計(jì)算機(jī)語(yǔ)言學(xué)、自然語(yǔ)言處理、文本挖掘和注釋、信息提取和檢索、觀點(diǎn)挖掘和情感

4、分析、文件分類和綜述、生物信息學(xué)和化學(xué)信息學(xué)等。本文中所用的詞鑒別信息指的是屬于某一種類關(guān)于確定主題的興趣點(diǎn)并拒絕其他種類的詞所傳達(dá)的信息量。一個(gè)信息詞，也常稱為一個(gè)好的鑒別器，它對(duì)分類文件應(yīng)該有很好的性能。3 / 31每個(gè)詞確定其最強(qiáng)支持類，并測(cè)量詞關(guān)于最強(qiáng)支持類的相關(guān)值，因而提供測(cè)量詞之間的關(guān)聯(lián)性的有效方法。計(jì)算應(yīng)用程序通常要求語(yǔ)義關(guān)聯(lián)，而不僅僅是語(yǔ)義相似度[6]。許多應(yīng)用程序被當(dāng)作 MSR 是其主要關(guān)系的情況，例如，問(wèn)答[7]、修

5、飾語(yǔ)對(duì)[8]、同義詞識(shí)別[9]、語(yǔ)義關(guān)系相似性測(cè)量[3]、語(yǔ)篇銜接的測(cè)量[10]、潛在的語(yǔ)義分析[11]、文本挖掘[12]和詞義消歧[13]。我們努力地提出了多種相關(guān)性測(cè)定方法：一些是應(yīng)用了詞典（手動(dòng)建立詞庫(kù)）[14][15],一些是應(yīng)用了共現(xiàn)統(tǒng)計(jì)(非監(jiān)督學(xué)習(xí)語(yǔ)料庫(kù))[16][17][18][19][20][21][22][23][24][25][26][27],和一些是應(yīng)用了混合技術(shù)(結(jié)合統(tǒng)計(jì)和詞匯的綜合信息)[28][29][30]

6、[25][31]。1.3 1.3 本文的研究目的 本文的研究目的在實(shí)際應(yīng)用的合理、明確環(huán)境中，我們?nèi)院茈y解釋詞所傳達(dá)的大量鑒別信息的含義，并且將詞之間的語(yǔ)義關(guān)聯(lián)程度概念成功且有意義地引入到科學(xué)討論中也不是那么容易的，本文就嘗試完成這個(gè)任務(wù)。我們向有效的 MSR 試圖建立一個(gè)理論框架，以 MDI 為核心，并回答在科學(xué)界的多個(gè)領(lǐng)域中兩個(gè)重要的問(wèn)題：1.詞 t’傳達(dá)的鑒別信息是什么并怎樣去測(cè)量它？2.詞 t’和 t 之間有怎樣的關(guān)聯(lián)性并怎樣去