不規(guī)范英文文本分詞系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

1、專業(yè)學(xué)位碩士學(xué)位論文不規(guī)范英文文本分詞系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)D e s i g na n d I m p l e m e n t a t i o n o fW o r d S e g m e n t a t i o nS y s t e m f o r t h eN o n —s t a n d a r dE n g l i s h t e x t學(xué) 4 1 2 1 7 5 4 9大連理工大學(xué)D a l i a nU n i v e r s

2、i t y o f T e c h n o l o g y大連理工大學(xué)專業(yè)學(xué)位碩士學(xué)位論文摘 要北方重工集團(tuán)有限公司作為一個(gè)跨國的國有大型企業(yè)，主要產(chǎn)品是盾構(gòu)機(jī)，特別是2 0 0 7 年收購法國N F M 公司后，隨著盾構(gòu)機(jī)的制造和生產(chǎn)，廣大一線員工接觸德國、法國、伊朗、巴西等來現(xiàn)場服務(wù)人員越來越多；同時(shí)也隨著市場的不斷拓展，企業(yè)出口產(chǎn)品日益增加，員工走出國門去國外現(xiàn)場服務(wù)的機(jī)會(huì)也越來越多，經(jīng)?？梢钥吹皆谝黄鹧芯慷軜?gòu)機(jī)或其他產(chǎn)品的制造服

3、務(wù)等工作，英文與中文的有效銜接交流顯得至關(guān)重要，為便于縮短外國服務(wù)人員與廣大員工的交流和溝通，改善外國人員寫英語語句無法辨識(shí)的不利因素，決定采用分詞技術(shù)加以解決，借此推動(dòng)企業(yè)國際化的生產(chǎn)經(jīng)營工作和現(xiàn)場服務(wù)工作的順利進(jìn)行和高速發(fā)展。基于企業(yè)的實(shí)際發(fā)展需要，本文設(shè)計(jì)并實(shí)現(xiàn)了不規(guī)范英文文本分詞系統(tǒng)。系統(tǒng)的主要功能是針對一些英文輸入格式不規(guī)范、輸入格式和字?jǐn)?shù)受限的、沒有明顯單詞分割標(biāo)記符的英文文檔進(jìn)行分詞，輸出結(jié)果為帶單詞分割標(biāo)記符的英文文檔。

4、本文首先進(jìn)行了中英文分詞相關(guān)技術(shù)的研究和分析，在對比了中英文分詞的相關(guān)性和不同之處后，提出了基于正向最大字符串匹配的英文分詞方法，并選擇了牛津中階英語詞典作為匹配詞庫。然后針對這種分詞方法，進(jìn)行了系統(tǒng)的需求獲取和可行性分析。接著對系統(tǒng)的總體框架進(jìn)行設(shè)計(jì)，重點(diǎn)介紹了本系統(tǒng)核心模塊英文分詞功能機(jī)器評(píng)估方法的詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)。并簡要敘述了其他功能模塊的設(shè)計(jì)與實(shí)現(xiàn)，以及數(shù)據(jù)庫的設(shè)計(jì)與實(shí)現(xiàn)。在系統(tǒng)的框架和功能初步成型的前提下，通過對系統(tǒng)的測試，對其