面向互聯(lián)網(wǎng)數(shù)據(jù)的中文組塊分析.pdf

1、隨著中國互聯(lián)網(wǎng)用戶的爆炸式增長，中文信息處理技術(shù)在互聯(lián)網(wǎng)領(lǐng)域受到越來越多的重視。中文組塊分析，因其在具有詞法分析效率的同時(shí)又具有接近于完全句法的分析深度，在互聯(lián)網(wǎng)領(lǐng)域有廣泛的應(yīng)用前景。
　　本文面向阿里巴巴電子商務(wù)系統(tǒng)，重點(diǎn)研究了中文組塊的定義、標(biāo)注與自動分析，主要內(nèi)容如下：
　　第一，在語料標(biāo)注過程中，由于人與人之間的認(rèn)識差異，存在一致性問題。而基于統(tǒng)計(jì)機(jī)器學(xué)習(xí)的方法，對于相同的實(shí)例，可以根據(jù)具體的上下文給出一致的標(biāo)注。基

2、于以上考慮，一種基于人機(jī)互動的標(biāo)注方法被本文所采納，且有效的解決了一致性問題。
　　第二，研究了基于判別式模型的中文組塊分析方法。通過將組塊邊界與類別合成一個(gè)標(biāo)簽，把組塊識別問題轉(zhuǎn)換為序列化標(biāo)注問題。最大熵馬爾科夫模型被應(yīng)用到組塊分析任務(wù)中，且取得了相當(dāng)好的效果。本文在前人工作的基礎(chǔ)上，對比研究了最大熵馬爾科夫模型的兩種變型，并提出了候選標(biāo)簽過濾算法，以提升最大熵馬爾科夫模型的處理效率。條件隨機(jī)域模型克服了最大熵馬爾科夫模型中的標(biāo)