內(nèi)容相關(guān)性驅(qū)動的Web資源離群點挖掘技術(shù)研究與系統(tǒng)實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展和普及,人們越來越依賴于網(wǎng)絡(luò)獲取信息。作為海量的信息來源,web可以看成是一個巨大的數(shù)據(jù)庫,包含著各種各樣有價值的信息。但由于Web信息來源極為廣泛,信息發(fā)布帶有很大的隨意性,在為用戶提供信息的同時,也造成了信息過載和信息污染。對Web資源進行必要的評測,有助于人們快速獲取網(wǎng)上高質(zhì)量的信息?；趦?nèi)容相關(guān)性的web資源離群點挖掘就是研究如何從內(nèi)容相關(guān)性的角度獲取Web內(nèi)容資源高質(zhì)量的數(shù)據(jù)。
　　 本文使用web

2、內(nèi)容離群點挖掘算法對web資源內(nèi)容相關(guān)性質(zhì)量進行量化評測,并實現(xiàn)了一個原型系統(tǒng)。該系統(tǒng)包含兩個模塊:web文本內(nèi)容抽取和web文本內(nèi)容離群點挖掘。在第一個模塊中,針對新聞網(wǎng)頁內(nèi)容比較集中的特點,本論文采用基于統(tǒng)計的鏈接密度和鏈接文本密度的方法對HTML網(wǎng)頁的正文進行抽取,并將相關(guān)內(nèi)容集成到一個XML頁面中；在第二個模塊中,利用N—gram技術(shù)對獲得的XML文件中各個文檔進行建模,再應(yīng)用文本內(nèi)容離群點檢測算法,檢測出文檔集中內(nèi)容不相關(guān)的文