基于網(wǎng)頁自動分類的新聞檢索系統(tǒng).pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，網(wǎng)頁數(shù)量呈指數(shù)增長。面對互聯(lián)網(wǎng)上的海量信息，如何快速、準確地從海量信息中找到自己需要的信息成為當前亟待解決的問題。網(wǎng)頁分類作為信息組織和處理的關(guān)鍵技術(shù)，可以用于解決海量網(wǎng)絡(luò)信息帶來的問題，成為Web領(lǐng)域的一個研究熱點。目前，網(wǎng)頁自動分類技術(shù)在主題搜索、個性化信息檢索、信息過濾、主動信息推送服務(wù)等領(lǐng)域得到了廣泛的應(yīng)用。盡管當前自動分類效果不錯，但是還不能滿足工業(yè)化應(yīng)用的需求，有待從特征和算法上進一步改進。
　　

2、論文通過設(shè)計并實現(xiàn)自動分類的新聞檢索系統(tǒng)，將網(wǎng)頁分類技術(shù)與搜索引擎緊密的結(jié)合。為了提高網(wǎng)頁分類的效果，本文從網(wǎng)頁信息抽取、特征權(quán)重和特征選擇等方面入手尋求改進，以提高網(wǎng)頁分類的效果。
　　本文的研究內(nèi)容主要包括以下幾個方面：
　?。?）通過分析新聞類網(wǎng)頁的頁面源碼，提取出與網(wǎng)頁分類相關(guān)的標題、導航及內(nèi)容等文本信息，并比較這些信息在網(wǎng)頁分類中的作用。實驗發(fā)現(xiàn)，新聞網(wǎng)頁的頁面導航信息有助于提高分類效果，而之前的網(wǎng)頁分類研究通常沒

3、有重視這一信息。
　?。?）對傳統(tǒng)的tf-idf權(quán)重計算提出改進，加入類別分布對特征詞權(quán)重的影響，并引入調(diào)整參數(shù)，提高權(quán)重對特征詞的表達能力。
　?。?）將前面提出的特征與方法應(yīng)用到基于網(wǎng)頁自動分類的新聞檢索系統(tǒng)中，并提供新聞檢索和聚類兩種形式提供新聞信息服務(wù)。
　　本文提出的特征和改進方法在Newsgroups等4個數(shù)據(jù)集上進行了對比實驗，實驗結(jié)果表明頁面導航信息對提高網(wǎng)頁分類性能具有明顯促進作用；改進的權(quán)重計算公式