基于內(nèi)容的Web不良文本信息過濾技術(shù)研究.pdf

1、Internet是新興的信息發(fā)布和流通媒體，其中文本信息占整個互聯(lián)網(wǎng)信息總量的60％，由于缺乏類似于傳統(tǒng)媒體一樣對信息發(fā)布的監(jiān)控手段，大量沒有受到監(jiān)控和控制的網(wǎng)絡不良文本信息隨之泛濫。如何過濾網(wǎng)絡中的不良文本信息，保障互聯(lián)網(wǎng)的信息安全，是當前網(wǎng)絡不良信息過濾研究的熱點和富有挑戰(zhàn)性的研究課題。
　　 本文針對目前網(wǎng)絡不良文本的信息過濾技術(shù)存在不足，主要開展了如下研究：
　　 (1)針對網(wǎng)頁文本的文本表達雖然可以使用傳統(tǒng)(普

2、通)文本的表達方法，但是它并不完全等同于傳統(tǒng)文本等問題，分析研究了現(xiàn)有的Web網(wǎng)頁正文預處理的相關技術(shù)與算法。
　　 (2)針對現(xiàn)有分詞技術(shù)存在分詞歧義性問題，研究了現(xiàn)有的基于字同現(xiàn)頻率的文本主題抽取算法在不良文本信息過濾的應用。該算法根據(jù)關鍵詞在主題的分布情況，以及在非主題中的分布情況分別給予關鍵詞不同大小的權(quán)重，從而實現(xiàn)有針對性的過濾，即該算法在色情文本過濾應用中具有很高的精度。
　　 (3)針對現(xiàn)有的基于字同現(xiàn)頻率

3、的文本主題抽取算法存在誤判率高問題，提出了基于臨近類別分類的過濾方法。該方法對文本主題抽取算法過濾的結(jié)果進行二次過濾，有效提高了過濾的精度。
　　 (4)基于臨近類別分類的原理方法，提出了一個基于內(nèi)容的臨近類別分類的過濾模型。該模型對主題抽取的過濾結(jié)果進行分類處理，進一步判斷該信息是不良信息還是近似信息，以確保信息分類的高精度。
　　 (5)針對現(xiàn)有文本過濾算法的不足，改進了傳統(tǒng)的KNN、Bayes算法，有效提高了不良文