基于中文信息檢索的文本預(yù)處理研究.pdf

1、當(dāng)前，Web正在成為人類知識(shí)和文明的全球存儲(chǔ)庫，這個(gè)存儲(chǔ)庫空前的允許在一個(gè)史無前例的范圍內(nèi)實(shí)現(xiàn)思想和信息的共享，隨著互聯(lián)網(wǎng)的快速普及，通過網(wǎng)絡(luò)共享的中文信息資源以接近指數(shù)級(jí)的速度遞增。如何處理網(wǎng)上的海量信息成為非常重要的研究課題。信息檢索的研究可以幫助人們有效的找到自己所需的信息。信息檢索的內(nèi)容有多種，其中，文本信息的含量最多。因此，為了提高用戶的查詢精度、系統(tǒng)運(yùn)行效率以及空間利用率，都需要對(duì)文檔進(jìn)行預(yù)處理。本論文就是在文本信息檢索這個(gè)

2、大背景之下，對(duì)文本的預(yù)處理技術(shù)進(jìn)行了探索。 本文首先對(duì)文本預(yù)處理的相關(guān)技術(shù)進(jìn)行介紹和研究，包括文本的表示、分詞、詞性標(biāo)注、標(biāo)引詞選擇等。接著，對(duì)本文采用的文本預(yù)處理技術(shù)進(jìn)行了探討，由于切分歧義是漢語分詞所面臨的最大難題，其中能用語法知識(shí)消解的就約占90％以上，而涉及語義和語用知識(shí)的切分歧義則很少，因此本文有機(jī)地將分詞過程和詞性標(biāo)注過程融合在一起，采用了動(dòng)態(tài)規(guī)劃解決這一問題，有利于切分歧義的消解。對(duì)于粗切分后的碎片，本文根據(jù)重疊詞

3、的模式進(jìn)行了重疊詞識(shí)別，并采用了一定的規(guī)則來識(shí)別碎片中的未登陸詞。在信息檢索的向量空間模型中，文本被形式化地表示為由詞項(xiàng)及其權(quán)重組成的向量。因此如何使這個(gè)向量盡可能準(zhǔn)確有效地表示出文本內(nèi)容同時(shí)又要盡量地減少向量空間的維數(shù)一直是該模型的基礎(chǔ)性問題。針對(duì)這個(gè)問題，本文提出了一個(gè)標(biāo)引詞選擇的算法，該算法充分考慮了詞項(xiàng)的詞頻、位置以及它與其它詞項(xiàng)、重要語句間的關(guān)系，根據(jù)實(shí)例，證明了該算法的有效性。最后，本文利用這些算法設(shè)計(jì)了一個(gè)基于信息檢索的文