互聯(lián)網(wǎng)內(nèi)容監(jiān)管系統(tǒng)關(guān)鍵技術(shù)的研究.pdf

1、針對日益嚴重的互聯(lián)網(wǎng)有害信息污染問題,本文對網(wǎng)絡(luò)內(nèi)容監(jiān)管系統(tǒng)的關(guān)鍵技術(shù)進行深入研究.主要工作包括:(1)提出了基于雙層分析結(jié)構(gòu)的主動型網(wǎng)絡(luò)內(nèi)容監(jiān)管模型,采用高速的多關(guān)鍵字和關(guān)鍵字表達式匹配算法作為第一層,采用基于SVM的文本分類算法作為第二層.該模型可以同時提升系統(tǒng)的吞吐率和對敏感信息識別的準確率.(2)設(shè)計了一種高效的多關(guān)鍵字匹配算法:QMS.該算法通過獲得盡可能大的平均跳躍距離提高了匹配效率.進而將該算法與多關(guān)鍵字表達式匹配的經(jīng)典計

2、數(shù)算法結(jié)合,提高了關(guān)鍵字表達式匹配的效率.(3)發(fā)現(xiàn)了在英文環(huán)境中表現(xiàn)良好的特征選取方法并不適合中文文本分類問題的事實.分析了產(chǎn)生差異的原因,并提出一種適合于中文環(huán)境的特征選取方法:組合特征選取方法.該方法有利于提高分類效果和加速分類器的訓練.(4)設(shè)計了一種訓練SVM的新算法:3SAO.該算法將訓練SVM的原始二次規(guī)劃問題分解為序貫的子問題,每個子問題包含三個拉格朗日乘子并被解析的優(yōu)化,并使用一套高效直觀的啟發(fā)式規(guī)則來選擇被優(yōu)化的乘子