不規(guī)范英文文本分詞系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)_18810.pdf

1、北方重工集團(tuán)有限公司作為一個(gè)跨國(guó)的國(guó)有大型企業(yè)，主要產(chǎn)品是盾構(gòu)機(jī)，特別是2007年收購(gòu)法國(guó)NFM公司后，隨著盾構(gòu)機(jī)的制造和生產(chǎn)，廣大一線員工接觸德國(guó)、法國(guó)、伊朗、巴西等來(lái)現(xiàn)場(chǎng)服務(wù)人員越來(lái)越多;同時(shí)也隨著市場(chǎng)的不斷拓展，企業(yè)出口產(chǎn)品日益增加，員工走出國(guó)門去國(guó)外現(xiàn)場(chǎng)服務(wù)的機(jī)會(huì)也越來(lái)越多，經(jīng)?？梢钥吹皆谝黄鹧芯慷軜?gòu)機(jī)或其他產(chǎn)品的制造服務(wù)等工作，英文與中文的有效銜接交流顯得至關(guān)重要，為便于縮短外國(guó)服務(wù)人員與廣大員工的交流和溝通，改善外國(guó)人員寫英

2、語(yǔ)語(yǔ)句無(wú)法辨識(shí)的不利因素，決定采用分詞技術(shù)加以解決，借此推動(dòng)企業(yè)國(guó)際化的生產(chǎn)經(jīng)營(yíng)工作和現(xiàn)場(chǎng)服務(wù)工作的順利進(jìn)行和高速發(fā)展。
　　基于企業(yè)的實(shí)際發(fā)展需要，本文設(shè)計(jì)并實(shí)現(xiàn)了不規(guī)范英文文本分詞系統(tǒng)。系統(tǒng)的主要功能是針對(duì)一些英文輸入格式不規(guī)范、輸入格式和字?jǐn)?shù)受限的、沒有明顯單詞分割標(biāo)記符的英文文檔進(jìn)行分詞，輸出結(jié)果為帶單詞分割標(biāo)記符的英文文檔。
　　本文首先進(jìn)行了中英文分詞相關(guān)技術(shù)的研究和分析，在對(duì)比了中英文分詞的相關(guān)性和不同之處后，

3、提出了基于正向最大字符串匹配的英文分詞方法，并選擇了牛津中階英語(yǔ)詞典作為匹配詞庫(kù)。然后針對(duì)這種分詞方法，進(jìn)行了系統(tǒng)的需求獲取和可行性分析。接著對(duì)系統(tǒng)的總體框架進(jìn)行設(shè)計(jì)，重點(diǎn)介紹了本系統(tǒng)核心模塊英文分詞功能機(jī)器評(píng)估方法的詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)。并簡(jiǎn)要敘述了其他功能模塊的設(shè)計(jì)與實(shí)現(xiàn)，以及數(shù)據(jù)庫(kù)的設(shè)計(jì)與實(shí)現(xiàn)。
　　在系統(tǒng)的框架和功能初步成型的前提下，通過(guò)對(duì)系統(tǒng)的測(cè)試，對(duì)其功能和性能進(jìn)行了評(píng)估，并重點(diǎn)對(duì)分詞算法的效率和性能進(jìn)行了測(cè)試、分析和評(píng)估。