基于統(tǒng)計(jì)與協(xié)同過濾的關(guān)鍵詞提取研究.pdf

1、隨著互聯(lián)網(wǎng)不斷發(fā)展，每天網(wǎng)絡(luò)上都有海量的信息展現(xiàn)。尤其是文本信息的爆炸式增長成為了目前計(jì)算機(jī)自然語言處理領(lǐng)域所面臨的重要問題。如何才能在海量的信息中準(zhǔn)確地發(fā)現(xiàn)人們真正需要的信息，已經(jīng)成了當(dāng)前需要解決的問題。要對(duì)海量的文本信息進(jìn)行檢索，首先必須對(duì)文檔進(jìn)行高效準(zhǔn)確的關(guān)鍵詞提取。因此進(jìn)行文本關(guān)鍵詞提取技術(shù)的研究具有非常重要的意義，這項(xiàng)技術(shù)的應(yīng)用領(lǐng)域非常廣泛，可以用于信息檢索、文本分類、信息反饋系統(tǒng)、自動(dòng)文摘等。
　　針對(duì)以上問題，本文對(duì)

2、于關(guān)鍵詞提取算法進(jìn)行了研究。首先根據(jù)中文文本的特點(diǎn)，在ICTCLAS分詞系統(tǒng)的基礎(chǔ)之上，給出了一個(gè)改進(jìn)的分詞算法。然后分析和討論了文檔的統(tǒng)計(jì)特征，從常見的統(tǒng)計(jì)特征中選擇了詞頻、詞性、詞語位置和詞語長度四個(gè)特征，并給出了公式計(jì)算詞語的統(tǒng)計(jì)特征評(píng)分，通過比較統(tǒng)計(jì)特征評(píng)分的大小來選擇關(guān)鍵詞。除了統(tǒng)計(jì)特性外，本文還考慮了文檔和文檔之間的相似性，給出了基于協(xié)同過濾的關(guān)鍵詞提取算法，此算法首先為已經(jīng)有關(guān)鍵詞的文檔作離線訓(xùn)練，形成訓(xùn)練集數(shù)據(jù)庫，并使用

3、協(xié)同過濾算法來計(jì)算需要提取關(guān)鍵詞的文檔和數(shù)據(jù)庫中已有關(guān)鍵詞的文檔之間的相似性，然后把相似性高的文檔的關(guān)鍵詞當(dāng)作候選關(guān)鍵詞，最后通過計(jì)算這些詞語在文檔中的統(tǒng)計(jì)綜合評(píng)分來選取關(guān)鍵詞。本文最后結(jié)合基于多統(tǒng)計(jì)特征的關(guān)鍵詞提取算法和基于協(xié)同過濾的關(guān)鍵詞提取算法的特點(diǎn)，并將這兩者相互融合。當(dāng)數(shù)據(jù)庫中有大量內(nèi)容相關(guān)的文檔時(shí)，使用基于協(xié)同過濾的關(guān)鍵詞提取算法，在數(shù)據(jù)庫中不存在或只存在少量內(nèi)容相關(guān)文檔時(shí)，使用基于統(tǒng)計(jì)的關(guān)鍵詞提取算法，實(shí)驗(yàn)表明融合之后的算