基于種子詞擴(kuò)展的粗俗文本分析方法研究.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展，網(wǎng)絡(luò)信息呈爆炸式增長(zhǎng)，人們已經(jīng)習(xí)慣于從網(wǎng)絡(luò)上獲取需要的信息。但是海量的網(wǎng)絡(luò)信息中存在中很多不良信息，對(duì)人們?cè)斐闪瞬豢杀苊獾呢?fù)面影響，比如包含著粗俗用語(yǔ)的網(wǎng)絡(luò)文本，不僅對(duì)網(wǎng)絡(luò)用戶尤其是青少年用戶的身心造成傷害，也會(huì)在社會(huì)產(chǎn)生惡劣的影響。
　　國(guó)家語(yǔ)言資源監(jiān)測(cè)與研究網(wǎng)絡(luò)媒體中心承擔(dān)了國(guó)家社會(huì)科學(xué)基金重大項(xiàng)目“互聯(lián)網(wǎng)環(huán)境下的語(yǔ)言生活方式與建設(shè)和諧的網(wǎng)絡(luò)語(yǔ)言生活研究”，其中的一個(gè)任務(wù)是自動(dòng)監(jiān)測(cè)網(wǎng)絡(luò)文本粗俗語(yǔ)言使用情況

2、。基于對(duì)該任務(wù)的研究，本文提出并實(shí)現(xiàn)了一種粗俗文本自動(dòng)判定策略并應(yīng)用到網(wǎng)絡(luò)文本的粗俗程度判定中，取得了比較好的效果。主要工作包括以下三個(gè)部分:
　　第一，針對(duì)相關(guān)研究語(yǔ)料相對(duì)匱乏的現(xiàn)狀構(gòu)建了大規(guī)模粗俗文本語(yǔ)料庫(kù)?；跈C(jī)器學(xué)習(xí)的自然語(yǔ)言文本分析都需要大規(guī)模的訓(xùn)練語(yǔ)料庫(kù)，但目前缺少關(guān)于粗俗文本的自動(dòng)判定的訓(xùn)練語(yǔ)料。因此本文下載了一百萬(wàn)篇微博語(yǔ)料，對(duì)其予以標(biāo)注，并采用多數(shù)投票策略對(duì)標(biāo)注一致性予以驗(yàn)證，最終構(gòu)建出基于微博文本的包含約兩萬(wàn)篇

3、文本的粗俗文本語(yǔ)料庫(kù)。
　　第二，提出了一種融合互信息與距離的種子詞擴(kuò)展方法并應(yīng)用于粗俗用語(yǔ)詞典的構(gòu)建過(guò)程中。通常，不同的粗俗用語(yǔ)在同一文本中常常共現(xiàn)且距離較近，據(jù)此本文引入詞間相關(guān)性度量，該度量采用互信息與七種距離度量函數(shù)分別對(duì)詞語(yǔ)共現(xiàn)度和詞間距離進(jìn)行刻畫(huà)。將部分具有明顯粗俗含義的詞語(yǔ)作為種子詞，構(gòu)建粗俗用語(yǔ)種子詞典，再利用本文方法基于粗俗文本語(yǔ)料庫(kù)提取擴(kuò)展詞，構(gòu)建粗俗用語(yǔ)詞典。與僅考慮詞間共現(xiàn)度的基于互信息的詞擴(kuò)展方法相比，本

4、文提出的方法能夠在一定程度上解決網(wǎng)絡(luò)新詞帶來(lái)的干擾，從而具有更好的表現(xiàn)。
　　第三，設(shè)計(jì)了一種文本粗俗程度判定模型對(duì)文本評(píng)分。通常一篇文本的文本長(zhǎng)度、文中粗俗用語(yǔ)的使用次數(shù)以及粗俗用語(yǔ)本身的粗俗程度等因素對(duì)該文本的粗俗程度判斷起著決定性的作用，據(jù)此，本文將這些因素通過(guò)統(tǒng)計(jì)模型進(jìn)行量化表示，以此設(shè)計(jì)出文本粗俗程度判定模型并通過(guò)實(shí)驗(yàn)證明其有效性。實(shí)驗(yàn)表明，該模型一方面具有比較低的時(shí)間消耗和較好的分類(lèi)性能，另一方面可在區(qū)分出粗俗文本的基