面向海量實時數(shù)據(jù)信息檢索系統(tǒng)的研究與實現(xiàn).pdf

1、隨著信息產(chǎn)業(yè)的迅速發(fā)展,信息檢索技術(shù)也日益成熟并得到了越來越廣泛的應用.另一方面由于缺乏有效的管理手段,導致互聯(lián)網(wǎng)上不良信息泛濫.為此,該文的研究工作是對一個現(xiàn)有的信息檢索系統(tǒng)——GONIA進行改造,使之能面向網(wǎng)絡海量實時數(shù)據(jù)環(huán)境,從而為互聯(lián)網(wǎng)信息管理提供有效的技術(shù)支持.GONIA是CERNET華東北地區(qū)網(wǎng)絡中心早年開發(fā)的一個分布式信息檢索原型系統(tǒng),要將其應用到海量實時數(shù)據(jù)環(huán)境,要解決的關(guān)鍵問題集中在性能方面.該文通過排隊論、數(shù)據(jù)挖掘等

2、理論和雙緩存、單鏈接、聚類等算法,對GONIA的內(nèi)部算法進行了系統(tǒng)的分析和更新,并對數(shù)據(jù)分布存儲策略進行了改良,使之可以適應于海量實時數(shù)據(jù)環(huán)境.該文第一章闡述了相關(guān)的工作背景.說明了論文研究工作的目的是為了利用信息檢索技術(shù)來管理網(wǎng)絡信息,從而使互聯(lián)網(wǎng)能夠更好、更健康地發(fā)展.第二章介紹了該文工作的基礎(chǔ)—GONIA系統(tǒng).GONIA系統(tǒng)的核心技術(shù)非常成熟,但不適合海量實時數(shù)據(jù)環(huán)境.在第三章主要討論了對GONIA系統(tǒng)的改進.為了使得系統(tǒng)能夠處理

3、實時數(shù)據(jù)的搜集,系統(tǒng)引進了尺寸可調(diào)節(jié)的雙緩存用來平滑系統(tǒng)入流量的隨機性;為了使得系統(tǒng)能夠處理海理數(shù)據(jù)的查詢,該系統(tǒng)通過兩段向量聚類算法構(gòu)造的聚類樹為查詢模塊提供索引,這也是該系統(tǒng)的核心思想;在實際中發(fā)現(xiàn)網(wǎng)絡數(shù)據(jù)中垃圾郵件的比重比較大,因此該系統(tǒng)引入了一個重要的應用:群發(fā)郵件甄別模塊,該模塊和聚類模塊相互合作、相互促進性能.第四章詳細闡述了系統(tǒng)的實現(xiàn).首先在GONIA的系統(tǒng)構(gòu)架上作了新的數(shù)據(jù)分發(fā)和數(shù)據(jù)分布的策略,然后介紹了該系統(tǒng)的各個模塊