現(xiàn)代信息檢索中的文本分類及圖像恢復(fù)研究.pdf

1、信息化的飛速發(fā)展使各種信息呈現(xiàn)爆炸式增長(zhǎng)，這給人們的工作、學(xué)習(xí)和生活提供了極大便利，但淹沒于大量無用、重復(fù)信息之中的有用信息很難通過人工的方法被全面準(zhǔn)確地提取出來，人們陷于信息提取的泥潭中，快速有效的信息檢索技術(shù)成為了唯一的解決方案。信息檢索主要包含兩個(gè)部分：按照科學(xué)的體系結(jié)構(gòu)對(duì)信息進(jìn)行歸類和獲取用戶真實(shí)意圖，反饋給用戶所需的信息。前者是提高效率的關(guān)鍵，本文的研究則集中于信息歸類，圍繞中文文本分詞、特征選擇和分類方法以及圖像檢索中的模糊

2、圖像恢復(fù)等關(guān)鍵技術(shù)展開探索。研究過程使用了理論分析和計(jì)算機(jī)實(shí)驗(yàn)驗(yàn)證兩種主要方法。以理論分析確定實(shí)驗(yàn)?zāi)康?，指?dǎo)實(shí)驗(yàn)方法；以實(shí)驗(yàn)數(shù)據(jù)支持理論分析，推動(dòng)更深入的理論分析。 本文首先介紹了信息檢索的發(fā)展現(xiàn)狀，結(jié)合本論文的主要研究?jī)?nèi)容論述了信息檢索中的關(guān)鍵技術(shù)，對(duì)本論文的內(nèi)容安排和主要?jiǎng)?chuàng)新作了說明。而后，從總體上介紹了自動(dòng)文本分類系統(tǒng)的組成結(jié)構(gòu)和功能，為后面的研究打下了基礎(chǔ)。本論文所作的創(chuàng)新主要包括以下幾個(gè)部分： 現(xiàn)有機(jī)械分詞方法

3、準(zhǔn)確率偏低，對(duì)后續(xù)特征選擇和分類造成了破壞，影響了文本分類精度；非機(jī)械分詞法雖然有較好的分詞精度，但是時(shí)間和/或空間復(fù)雜度較高，不易實(shí)現(xiàn)。針對(duì)上述問題，本文提出了一種對(duì)最大匹配法進(jìn)行改進(jìn)得到的預(yù)測(cè)最大匹配分詞方法。預(yù)測(cè)最大匹配法通過對(duì)長(zhǎng)詞出現(xiàn)可能性和起始位置進(jìn)行預(yù)測(cè)，使分詞過程更符合長(zhǎng)詞優(yōu)先準(zhǔn)則。通過對(duì)新方法分詞性能和時(shí)間復(fù)雜度的分析，證明了該方法以較小的復(fù)雜度增加為代價(jià)明顯提高了分詞準(zhǔn)確性，接近全局最大匹配的性能。 以詞為特征

4、表示中文文本時(shí)特征維數(shù)較高，需要剔除對(duì)分類貢獻(xiàn)小的特征。現(xiàn)有特征選擇方法基于詞與詞之間相互獨(dú)立的假設(shè)，屬于標(biāo)量特征選擇。實(shí)際上詞與詞之間存在很強(qiáng)的的相關(guān)性，本文提出了基于期望交叉熵的向量特征選擇方法，兼顧了詞與類別及詞與詞之間的相關(guān)性。本文還研究了使用K-L變換和奇異值分解特征生成的方法。實(shí)驗(yàn)證明在相同的分詞和分類法基礎(chǔ)上，相對(duì)于標(biāo)量特征選擇，向量特征選擇法配合K-L變換和奇異值分解的特征生成方法有效提高了文本分類的精度。 分類

5、器是文本分類系統(tǒng)的核心，經(jīng)典的Rocchio分類法實(shí)現(xiàn)簡(jiǎn)單，但分類性能欠佳。在分析了Rocchio法對(duì)樣本統(tǒng)計(jì)特性利用的片面性的基礎(chǔ)上，本文提出了基于方差的文本分類算法，利用了不同類別文本在分布上的差別。為了同時(shí)發(fā)揮Rocchio法的速度優(yōu)勢(shì)和SVM法的性能優(yōu)勢(shì)，本文提出了使用Rocchio法粗分類結(jié)合SVM細(xì)分類的新分類方法。計(jì)算機(jī)實(shí)驗(yàn)表明在使用相同的分詞和特征選擇方法的基礎(chǔ)上，本文提出的分類法，特別是Rocchio結(jié)合SVM的分類法