分詞連寫的中文信息處理.pdf

1、詞是最小的表示獨(dú)立語義的語言單位，各種自然語言文本的處理都是以詞為基礎(chǔ)的?？墒牵瑵h語文本被表示為連續(xù)的漢字串，詞與詞之間沒有明確的分隔標(biāo)記。顯而易見，自動識別詞邊界，即將漢字串切分為正確的詞串的分詞問題，就成為了實(shí)現(xiàn)中文信息處理的各項(xiàng)任務(wù)中的首要問題。長期以來，分詞問題也嚴(yán)重地阻礙了中文信息處理的發(fā)展。 結(jié)合中文信息處理的發(fā)展趨勢，提出了一種分詞連寫的中文輸入軟件，把目前中文信息處理不可逾越的一個階段——分詞，提前到文本輸入的時(shí)

2、候進(jìn)行，這是以最低消費(fèi)和最高精度進(jìn)行分詞的最佳時(shí)機(jī)。本文在理論及實(shí)踐上創(chuàng)新之處主要如下：分析了分詞連寫的必要性和可行性，提出了分詞連寫的對策：推行分詞連寫的中文輸入軟件。提出了基于全切分算法的逐步求精的分詞策略，該策略首先利用無交叉歧義邊界確定算法來把較長的中文字串分成若干個句子，緊接著對每個句子采用全切分算法，生成中文分詞有向圖，然后經(jīng)過確定性切分階段和未登錄詞識別階段，對上述中文分詞有向圖進(jìn)行裁邊，從而減少有向圖的切分路徑。利用圖論