書面漢語的并行分詞算法研究.pdf

1、山東大學碩士學位論文摘要(i面漢語的詞切分是漢語理解的基礎，因而長期以來一直是漢語信。，處‘理領域的一個重要課題。從目前的分詞方法來看，它們的切分精度依然滿足不了應用的要求。根據(jù)研究，切分精度的提高依賴于對切分歧義的消解程度，而消解歧義的理想方式是采用句法語義知識的評測標準。這是一個高復雜度的操作，傳統(tǒng)的串行的分詞方法在實現(xiàn)上存在效率和復雜性方面的困難。本課題力圖提出一種并行的分詞方法，目的是利用并行的特點，使分詞和句法語義分析能夠充分

2、地交互，從而更有效、合理地實現(xiàn)分詞和語法一語義分析，進一步提“”詞方法的“分精度和“分效率。丫本文在目前的書面漢語的分詞和分析方法基礎上，對基于全切分的分詞方法作了進一步的研究。首先系統(tǒng)地討論了全切分，提出了全切分的抽象算法模型，并特別指出了全切分普遍存在的重復切分問題。進而，對串行全切分和并行全切分的分詞算法和剪枝方法進行了研究，給出了串行全切分分詞方法的算法模型。最后，提出了一種并行分詞方法。該方法在輸入的同時進行切分，并在切分的同

3、時進行歧義識別的句法一語義分析，從而實現(xiàn)了輸入與切分、切分與歧義分析的并行運算，它們互為條件、共同發(fā)展，在輸入結束時即刻得到分詞結果。本文提出了該分詞方法的體系結構模型，設計了在M工11lSM上的并行分詞算法，并建立了單機模擬實驗系統(tǒng)PARASEG。經(jīng)過在PARASEG系統(tǒng)上的模擬實驗，證明該方法是一種可行而且有效的并行分詞方法。、(該方、去具有、良高白勺理論、口應用、介值。它，if用并、于計算技術實現(xiàn)了分詞，口山東大學碩士學位論文AB

4、STRACTWordsegmentationisthefirstandafundamentalstepforChineseinformationprocessingandisalwaysoneofthemostimportanttopicsofChineseProcessing.Buttheaccuracyofthecurrentmethodsofwordsegmentationcannotsatisfytherequirementof

5、theapplication.Asitispointedtheaccuracyofsegmentationdependsonthemethodofworddisambiguation.Oneofthebestmethodsofworddisambiguationisthroughthesyntacticsemanticanalysiswhichhasahighcomplexityandthepresentsimplemethodsofs

6、egmentationisdificulttorealize.Toraisetheaccuracyandefficiencyofwordsegmentationthispaperpresentsamethodofparallelwordsegmentation.Itcanmaketheprocessingofwordsegmentationandsyntacticandsemanticanalysismoreefficientbymak

7、inguseoftheirinteractionswitheachother.Basedoncurrentmethodsofwordsegmentationandanalysismethodsofomniwordsegmentationarediscussedinthispaper.FirstlytheproblemofwordOmniSegmentationisdiscussed.Thenamodelofwordomnisegment

8、ationisproposedandtheproblemofredundantsegmentationexistedgenerallyintheprocessofomnisegmentationispointedout.Basedontheabovethealgorithmofsequentialandparallelwordomnisegmentationandthemethodofearlypruningofunacceptedse

9、gmentationformsarediscussedandamodelofsequentialwordomnisegmentationalgorithmisgiven.InthiswayanovelparallelapproachforChinesewordsegmentationisproposed.Theapproachperformsthesegmentationwhiletheinputisenteringandatthesa

10、metimetheambiguityrecognitionwithsyntacticandsemanticanalysisisachieved.Inthiswaytheparallelofinputandsegmentationthesegmentationandsyntacticandsemanticanalysisisrealizedandthecorrectsegmentationisobtainedattheendofinput

11、.ThesystemarchitectureandtheparallelalgorithmfortheapproacharegiveninthispaperandasimulationsystemPARASEGisconstructed.ThesimulationofthemethodonasingleCPUhardwarehasprovedthattheideaproposedinthispaperisbothfeasibleande

12、ffective.Theapproachhashighvaluebothintheoryandapplication.Itadoptsthecurrentparallelcomputingtechnologyfortheachievementoftheparallelimplementationofwordsegmentationandsyntacticsemanticanalysis.Inthiswaytheprocessofword