基于微博語(yǔ)料的網(wǎng)絡(luò)語(yǔ)言分析與識(shí)別.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展和移動(dòng)通訊工具的普及以及微信、微博等社交平臺(tái)的廣泛應(yīng)用，以提高交流效率或者表達(dá)某種情感為目的的、采用包含有自創(chuàng)、縮略詞語(yǔ)、特定符號(hào)及其獨(dú)立或者相互交叉組成的的網(wǎng)絡(luò)文本應(yīng)運(yùn)而生；這類文本中被不同年齡段、行業(yè)及具有不同的閱歷及知識(shí)背景網(wǎng)民所頻繁的使用和廣泛傳播的詞語(yǔ)、符號(hào)及其組合被稱為網(wǎng)絡(luò)語(yǔ)言，其大多反映的是社會(huì)熱點(diǎn)話題和廣泛社會(huì)生活現(xiàn)狀。將網(wǎng)絡(luò)語(yǔ)言中的網(wǎng)絡(luò)新詞及顏文字進(jìn)行快速有效的發(fā)現(xiàn)識(shí)別、標(biāo)識(shí)含義及并入詞集，對(duì)信息處

2、理系統(tǒng)在面向網(wǎng)絡(luò)文本、網(wǎng)絡(luò)語(yǔ)言進(jìn)行處理時(shí)，對(duì)提高語(yǔ)義整體理解、社會(huì)熱點(diǎn)分析及用戶情感表達(dá)，互聯(lián)網(wǎng)監(jiān)控、企業(yè)決策和社會(huì)學(xué)研究都有重要的意義。
　　論文首先對(duì)微博語(yǔ)料進(jìn)行預(yù)處理并分詞得到“散串”語(yǔ)料；然后，基于候選詞內(nèi)部組成結(jié)構(gòu)，通過(guò)采用互信息統(tǒng)計(jì)模型向候選詞內(nèi)部組成元素右鄰元擴(kuò)展統(tǒng)計(jì)的方法建立了候選詞集；向右鄰元擴(kuò)展統(tǒng)計(jì)的措施解決了基于互信息統(tǒng)計(jì)模型用于新詞發(fā)現(xiàn)時(shí)只能統(tǒng)計(jì)兩組成元素的局限性，同時(shí)規(guī)避了影響新詞發(fā)現(xiàn)研究準(zhǔn)確性能的N元重

3、疊問(wèn)題；依據(jù)語(yǔ)料文本短小，候選詞外部位置特征及行文規(guī)則，采用外部統(tǒng)計(jì)量制定了基于候選詞外部鄰接量過(guò)濾規(guī)則和計(jì)算方法，最終實(shí)現(xiàn)網(wǎng)絡(luò)新詞發(fā)現(xiàn)和識(shí)別。構(gòu)建出了基于互信息模型向右鄰元擴(kuò)展統(tǒng)計(jì)+外部鄰接量統(tǒng)計(jì)過(guò)濾的網(wǎng)絡(luò)新詞發(fā)現(xiàn)方法。
　　統(tǒng)計(jì)與分析了大規(guī)模已知顏文字的結(jié)構(gòu)和符號(hào)組成特點(diǎn)，基于顏文字內(nèi)部構(gòu)造元素的耦合度、核心組成元素的左右鄰結(jié)合度等信息進(jìn)行統(tǒng)計(jì)識(shí)別；基于顏文字表達(dá)的人類面部特征元素進(jìn)行匹配識(shí)別，并采用隱馬爾可夫模型對(duì)整體識(shí)別結(jié)