基于文本挖掘的網(wǎng)頁分類系統(tǒng)研究與實現(xiàn).pdf

1、隨著信息技術的不斷發(fā)展，網(wǎng)頁的數(shù)量也在成倍的增加，如何通過網(wǎng)頁自動分類技術有效的組織和管理這些海量數(shù)據(jù)已經(jīng)成為Web領域的一個研究熱點。分類算法是實現(xiàn)網(wǎng)頁自動分類的一個重要環(huán)節(jié)，它的優(yōu)劣直接決定了分類系統(tǒng)的分類效率和分類精度。
　　 文本分類由文本預處理、特征空間的建立、分類器的生成以及分類結(jié)果的評估這四個部分構成。本文在網(wǎng)頁自動分類相關技術的理論研究基礎上，根據(jù)網(wǎng)頁內(nèi)容實現(xiàn)了網(wǎng)頁分類，其中包括使用正則表達式完成網(wǎng)頁清洗、對網(wǎng)頁

2、的正文分詞、對照停用詞表去停用詞、通過基于文檔頻率的特征選擇算法建立特征空間、使用向量空間模型表示網(wǎng)頁、使用分類器分類和分類結(jié)果評估。重點研究并實現(xiàn)了最近鄰分類算法和支持向量機算法，通過實驗對比上述兩種算法的分類性能。實驗結(jié)果表明，最近鄰分類算法的分類結(jié)果要優(yōu)于支持向量機算法的分類結(jié)果，但是所花的時間也比支持向量機要長一倍。
　　 在對傳統(tǒng)分類算法分析的基礎上，針對它們各自的不足通過C#實現(xiàn)了相應的改進算法。針對傳統(tǒng)的最近鄰分類

3、算法在訓練樣本數(shù)據(jù)分布不均勻的情況下會出現(xiàn)誤判導致分類效果差的不足，本文實現(xiàn)了基于樣本密度改進的最近鄰分類算法，通過增大訓練樣本稀疏區(qū)的平均文本相似度，降低訓練樣本密集區(qū)的平均文本相似度，達到改善分類效果的目的;針對支持向量機在多類別分類中分類結(jié)果不理想的情況，本文實現(xiàn)了基于最近鄰和支持向量機融合的分類算法，先對測試樣本用最近鄰分類算法進行粗判斷，得到測試樣本的候選類別，然后再使用支持向量機算法從候選類別中選出最佳類別，達到提高分類效果