文檔數(shù)據(jù)庫(kù)若干關(guān)鍵技術(shù)研究.pdf

1、在該文中,我們對(duì)文檔數(shù)據(jù)庫(kù)的一些關(guān)鍵技術(shù)進(jìn)行了研究,具體內(nèi)容包括全文檢索技術(shù)、結(jié)構(gòu)化文檔檢索、文本過(guò)濾、文本挖掘以及其它相關(guān)技術(shù),取得的創(chuàng)新性成果主要體現(xiàn)在以下四個(gè)方面:1)對(duì)一種新型的全文檢索模型—互關(guān)聯(lián)后繼樹(shù)進(jìn)行研究我們?cè)谠瓉?lái)Σ<'2>鄰接矩陣模型研究的基礎(chǔ)上,發(fā)展出來(lái)一種新型的數(shù)據(jù)模型—互關(guān)聯(lián)后繼樹(shù)(IRST),這種模型充分利用了字符序列的有序性和冗余性,適用于海量全文存儲(chǔ)和索引.論文分別對(duì)IRST的創(chuàng)建、查詢和原文生成算法進(jìn)行研

2、究.IRST保持了Σ<'2>鄰接矩陣模型的一些優(yōu)點(diǎn),還具有更多的優(yōu)點(diǎn):可以生成原文,既是全文的索引模型,又是全文的存儲(chǔ)模型;具有極佳的空間效率;具有領(lǐng)域獨(dú)立性和時(shí)間無(wú)關(guān)性;具有查詢的完備性;是一種多功能的數(shù)據(jù)模型,比如,根據(jù)它存儲(chǔ)的序列信息的特點(diǎn),可以用于文本序列挖掘.2)從IR角度對(duì)XML文檔檢索進(jìn)行研究提出了一種基于結(jié)構(gòu)相似度的XML文檔檢索模型,在檢索的過(guò)程中根據(jù)XML文檔的結(jié)構(gòu)和查詢路徑計(jì)算二者的相似度.還提出了一種簡(jiǎn)單的查詢語(yǔ)

3、言-正則路徑集(RPS).我們還采用這個(gè)檢索模型建立了一個(gè)XML文檔檢索原型系統(tǒng),并對(duì)檢索模型進(jìn)行了實(shí)驗(yàn)比較,驗(yàn)證了這個(gè)模型能有效地提高XML文檔的結(jié)構(gòu)化檢索的性能.3)基于語(yǔ)義分析的文本過(guò)濾方法研究采用語(yǔ)義分析和統(tǒng)計(jì)方法相結(jié)合的策略對(duì)傾向性文本進(jìn)行識(shí)別.論文提出了傾向性文本過(guò)濾的框架和過(guò)程,并給出了實(shí)驗(yàn)測(cè)試結(jié)果.還對(duì)非法文本中常常包含的偽裝詞的構(gòu)成規(guī)律進(jìn)行了初步探索.如果不能有效識(shí)別這些人為設(shè)置的非正常形式的詞語(yǔ),會(huì)給文本特征的選取帶

4、來(lái)障礙,進(jìn)而影響文本過(guò)濾的準(zhǔn)確性.論文還對(duì)面向偽裝詞的文本特征選取方法進(jìn)行了研究.4)基于IRST的文本序列挖掘方法研究利用IRST的存儲(chǔ)了文本序列的特點(diǎn),論文采用IRST作為文本挖掘的工具,研究了IRST進(jìn)行頻繁集挖掘的方法,這個(gè)方法是一個(gè)通用技術(shù),不局限于應(yīng)用在文本的挖掘.然后又研究了將IRST用在文本序列挖掘上面,利用了IRST可以直接計(jì)算文本序列的支持度的特點(diǎn).由IRST進(jìn)行序列挖掘具有不生成候選集的特點(diǎn),具有非常好的挖掘效率,