一種不良文本過濾方法.pdf

1、隨著互聯(lián)網(wǎng)的迅速發(fā)展，一些不法分子利用網(wǎng)絡(luò)來散布反動(dòng)、色情、詐騙或者暴力等不良信息，對(duì)社會(huì)的穩(wěn)定、價(jià)值導(dǎo)向，特別是青少年的健康成長(zhǎng)構(gòu)成了極大的危害。如何凈化網(wǎng)絡(luò)環(huán)境，過濾掉不良信息，是當(dāng)前互聯(lián)網(wǎng)建設(shè)和監(jiān)控上的一個(gè)重要的研究熱點(diǎn)。
　　目前，不良文本過濾主流的研究方法是基于文本內(nèi)容智能分析的過濾，主要包括向量空間模型法，神經(jīng)網(wǎng)絡(luò)法以及語義過濾法。神經(jīng)網(wǎng)絡(luò)法以及語義過濾主要缺點(diǎn)在于算法復(fù)雜，執(zhí)行速度慢，向量空間模型則是文檔相關(guān)度計(jì)算量

2、大，缺乏語義因素，基于以上不足，不良文本過濾的研究方向主要集中在提高過濾精度和降低過濾耗時(shí)上。本文的主要目的就是設(shè)計(jì)一個(gè)不良文本過濾方法，在保持精度的條件下，最大限度的降低過濾所耗費(fèi)的時(shí)間，并且在不良文本訓(xùn)練庫(kù)不充分的條件下，也能實(shí)現(xiàn)較高的性能。
　　本文在分析自然語言處理過程中分詞，特征選擇，分類方法等在內(nèi)的基礎(chǔ)上，通過對(duì)過濾閥值，歸一化，文本表示，數(shù)據(jù)不均衡以及訓(xùn)練庫(kù)不充分等各種實(shí)際情況的分析和實(shí)驗(yàn)，提出了一種新的不良文本過濾

3、方法，并最終通過實(shí)驗(yàn)驗(yàn)證了方法的有效性。
　　具體地說，本文的工作主要包含下列內(nèi)容:
　　1、使用了一種新的文本權(quán)重計(jì)算方法。該方法充分考慮了特征項(xiàng)在待表示文本中的頻數(shù)以及指定特征項(xiàng)對(duì)于類別區(qū)分度的大小兩個(gè)因素，能夠更好的表示文本。
　　2、針對(duì)常用不良文本過濾方法耗時(shí)較長(zhǎng)的實(shí)際情況，提出了一個(gè)不良文本過濾方法。該方法在保證準(zhǔn)確率和召回率的基礎(chǔ)上，很大程度上降低了不良文本過濾所需求的時(shí)間。
　　3、針對(duì)互聯(lián)網(wǎng)環(huán)境

4、下，訓(xùn)練文本庫(kù)總是不充分的情況，收集了不充分和相對(duì)比較充分的兩種語料庫(kù)，并通過實(shí)驗(yàn)證明了本文提出的方法在這兩種語料庫(kù)中的過濾性能上優(yōu)于經(jīng)典方法。
　　4、針對(duì)正反特征項(xiàng)集合數(shù)據(jù)不均衡性的問題，提出了兩種解決數(shù)據(jù)不均衡型問題的方法，充分考慮了正反特征項(xiàng)的實(shí)際作用，在這兩種解決不均衡型問題的方法中，都引入了歸一化的方法，并通過實(shí)驗(yàn)驗(yàn)證了方法的有效性。
　　5、設(shè)計(jì)并驗(yàn)證了基于正反特征項(xiàng)差值的過濾方法，提出了界限值的概念以及界限值