面向社會媒體的中文文本校對方法研究與實現(xiàn).pdf

1、隨著Web2.0技術(shù)和社會媒體的高速發(fā)展，人們以網(wǎng)絡(luò)為媒介，在各類社會媒體中自由發(fā)表言論。同正規(guī)的新聞文本相比，用戶生成的社會媒體文本存在大量的錯別字、諧音詞語等病態(tài)輸入或非標(biāo)準(zhǔn)的表述形式。如何準(zhǔn)確地識別并糾正這些非標(biāo)準(zhǔn)表達已成為面向社會媒體的自然語言處理相關(guān)研究面臨的一個重要挑戰(zhàn)。
　　本文在深入分析社會媒體文本中存在的錯別字和諧音詞語的分類及其分布基礎(chǔ)上，分別采用統(tǒng)計語言模型和語義相似度兩種方法探索錯別字校對和諧音詞語校對問題

2、，以提高文本的可讀性和規(guī)范性，為后續(xù)的社會媒體研究工作打下良好的理論基礎(chǔ)和應(yīng)用基礎(chǔ)。具體地，本文從以下兩個方面展開研究:
　　1.基于語言模型的社會媒體文本校對。錯別字和諧音詞語作為中文最常見的病態(tài)輸入或非標(biāo)準(zhǔn)表述，大量存在于社會媒體文本中。本文采用基于音素和形近字表兩種方法構(gòu)造錯別字正字候選，通過構(gòu)建不同粒度的諧音還原知識庫構(gòu)造諧音還原候選集。然后，在N元語法模型的框架下，從錯別字正字候選集和諧音詞語還原候選集中進行語言解碼，以

3、確定相應(yīng)的校對結(jié)果。實驗結(jié)果表明，當(dāng)訓(xùn)練語料規(guī)模足夠大時，三元語言模型具有更準(zhǔn)確的描述能力，采用三元新聞文本訓(xùn)練的語言模型進行語言解碼工作有利于提高錯別字和諧音詞語校對性能。
　　2.基于語義相似度的社會媒體文本校對問題。測試句子與校對后標(biāo)準(zhǔn)句子具有相同的語義信息，因此本文提出從語義角度出發(fā)，利用語義特征實現(xiàn)文本校對工作。首先，利用詞嵌入模型從大量未標(biāo)注的普通文本數(shù)據(jù)中無監(jiān)督地學(xué)習(xí)出詞向量。然后，獲取候選詞語及其上下文的詞向量。最