漢語詞類劃分與詞性標注方法的研究.pdf

1、詞類劃分與詞性標注都是自然語言處理中重要的基礎性研究課題,也是后續(xù)研究如淺層句法分析、文本分類、機器翻譯等的基礎。該課題的研究方法主要有三種:基于規(guī)則的方法、基于統計的方法以及兩者相結合的方法。其中,基于統計的方法又分為監(jiān)督學習、半監(jiān)督學習和無監(jiān)督學習等三種學習方式。本文主要從基于統計的角度去探索詞類劃分和詞性標注的,主要內容如下:
　　 1、兼類詞詞性消歧是中文詞性標注的難點之一。本文集成了支持向量機,條件隨機場,最大熵等三種

2、分類模型,對兼類詞詞性進行投票消歧,把得票多的詞性作為該詞的詞性。以1998年1月份已標注《人民日報》為實驗語料,對120個常見的兼類詞進行開放測試,平均精度達到89.69％,取得了較好的效果。
　　 2、詞類劃分是指詞語在語法意義上的分類,即詞與詞相組合的過程中所體現出來的類別。本文以句法功能信息庫為藍本,以該庫中所列的14個屬性為特征空間,以其中的句法功能統計數據作為特征值,并對這些空間特征進行歸一化處理,利用AP算法,對它

3、收錄的3514個詞進行聚類,共聚出62類,基本上把語法相同的或相似的詞歸為了一類。
　　 3、對詞性進行聚類也是研究兼類詞消歧的手段之一。本文從1998年1月份《人民日報》中抽取了12個兼類詞,這些兼類詞在分類時,效果不好,而且基準精度較低,區(qū)別度不大。本文利用AP聚類、k-means聚類、譜聚類等常見聚類算法；分別采用了歐氏距離、Dice系數、夾角余弦作為相似度的衡量方法；采用上下文詞頻作為特征,并對這些特征進行了提升、歸一化