基于文本的網(wǎng)絡(luò)內(nèi)容審計系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、當(dāng)前網(wǎng)絡(luò)色情信息、反動言論、暴力等有害信息泛濫，而主題分類等方法對過濾這些信息顯得力不從心。為更好的過濾網(wǎng)絡(luò)中有害信息，將信息分類為無關(guān)信息、積極信息和消極信息三個類別并提出進(jìn)行文本態(tài)度傾向性過濾的必要性。 在分析當(dāng)前文本態(tài)度傾向性分析技術(shù)的基礎(chǔ)上，本文所作的工作如下： 1、針對分類中高維性和稀疏性兩大難題，在總結(jié)了當(dāng)前特征降維方法的基礎(chǔ)上，提出了組合特征提取算法。該算法結(jié)合CHI和IG的特性，既有利于高頻特征，又有利于

2、只出現(xiàn)在少數(shù)類中且能強(qiáng)烈表現(xiàn)文本語義信息的中低頻特征。 2、為有效過濾無關(guān)信息并使過濾模型逐步逼近用戶的真實需求，提出了用戶信息反饋和閾值過濾策略，設(shè)計了基于SNoW算法的主題分類模型，具有排除無關(guān)信息和將有關(guān)信息分類到特殊領(lǐng)域類的雙重功能。 3、為更準(zhǔn)確的體現(xiàn)文本語義，在更細(xì)粒度層面上分析作者的立場態(tài)度，本文提出了基于語法語義規(guī)則和統(tǒng)計相融合的文本態(tài)度傾向性識別算法。該算法將SVM的特征進(jìn)行廣義延伸，將傾向性詞語和紅黑

3、特征庫所組成的短語搭配、BOW等作為SVM分類器的特征，體現(xiàn)了文本的語義約束。 4、設(shè)計并實現(xiàn)了基于文本態(tài)度傾向性分析的網(wǎng)絡(luò)內(nèi)容審計系統(tǒng)。實驗證明，該系統(tǒng)實現(xiàn)了對文本高準(zhǔn)確率、高效的立場傾向性識別。 總之，本論文比較全面的論述了基于文本態(tài)度傾向性分析的網(wǎng)絡(luò)內(nèi)容審計模型的設(shè)計和實際系統(tǒng)的設(shè)計與實現(xiàn)方法。重點闡述了主題分類中的組合特征提取算法、基于用戶信息反饋和閾值策略的自適應(yīng)算法、基于語法語義規(guī)則和統(tǒng)計相融合的文本態(tài)度傾向