維、哈文不良網(wǎng)頁判別方法研究.pdf

1、隨著信息技術(shù)的飛速發(fā)展,互聯(lián)網(wǎng)已成為人們快速發(fā)布信息和獲取信息的重要工具。近年來,維吾爾文、哈薩克文網(wǎng)站數(shù)量有了快速增長,具不完全統(tǒng)計,國內(nèi)維哈文網(wǎng)站目前有兩千多個,且在不斷增加中。民族語言網(wǎng)站在為廣大少數(shù)民族用戶提供豐富多彩本民族文化信息的同時,部分不法之徒利用互聯(lián)網(wǎng)傳播反動、煽動性言論等不良信息,此類信息嚴(yán)重歪曲我黨方針政策,扭曲事實(shí)真相,極易引起公眾的不理性判斷,對社會和諧穩(wěn)定帶來巨大隱患。如何對此類信息進(jìn)行有效監(jiān)控、過濾成為政府

2、部門關(guān)心的問題,維哈文不良網(wǎng)頁識別技術(shù)也成為科研單位研究熱點(diǎn)。
　　筆者首先設(shè)計了維哈文網(wǎng)站識別模型,并利用搜索引擎技術(shù)對互聯(lián)網(wǎng)維哈文網(wǎng)站進(jìn)行搜尋和數(shù)據(jù)采集,同時對維哈文不良網(wǎng)頁識別模型中涉及的以下技術(shù)進(jìn)行了研究:維哈文網(wǎng)頁正文內(nèi)容抽取方法、維哈文分詞技術(shù)、特征詞提取方法,文本分類算法,分類器性能評價指標(biāo)。
　　本文在對維哈文不良網(wǎng)頁特征分析基礎(chǔ)上,利用卡方檢驗(yàn)方法對訓(xùn)練集進(jìn)行特征詞抽取。為檢測不同文本分類算法對維哈文不良網(wǎng)