針對(duì)特定領(lǐng)域的中文新詞發(fā)現(xiàn)技術(shù)研究.pdf

1、隨著信息技術(shù)的發(fā)展，各個(gè)領(lǐng)域的電子文獻(xiàn)變得日益豐富，在各個(gè)專(zhuān)業(yè)領(lǐng)域，文獻(xiàn)數(shù)據(jù)庫(kù)中的文獻(xiàn)數(shù)量呈現(xiàn)出指數(shù)增長(zhǎng)的趨勢(shì)，對(duì)這些文獻(xiàn)信息的處理難度也變得越來(lái)越大。中文有著特殊的組織結(jié)構(gòu)，其信息處理對(duì)分詞技術(shù)有著較高的要求，因而中文文獻(xiàn)相對(duì)于英文文獻(xiàn)有著較高的處理難度。如何針對(duì)中文的語(yǔ)法特征，找出其中存在的新的專(zhuān)業(yè)詞匯，在信息檢索中扮演著極為重要的角色。本文的研究對(duì)象是單一特定的領(lǐng)域，而非多個(gè)領(lǐng)域。此領(lǐng)域具有可擴(kuò)充性，可以為金融領(lǐng)域，也可以為IT領(lǐng)

2、域，根據(jù)具體需求而定。
　　在確定一個(gè)領(lǐng)域并給出這個(gè)領(lǐng)域的文獻(xiàn)數(shù)據(jù)集合的前提下。本文的信息處理主要分為兩個(gè)步驟進(jìn)行，首先對(duì)特定領(lǐng)域的文獻(xiàn)集合進(jìn)行分詞處理，在進(jìn)行分詞處理方面使用了基于統(tǒng)計(jì)的N-Gram方法，較為有效地找出了詞典中所不存在地新詞匯。
　　第二個(gè)步驟為新的專(zhuān)業(yè)詞匯的抽取，這是一個(gè)根據(jù)已有專(zhuān)業(yè)詞匯來(lái)發(fā)現(xiàn)未知專(zhuān)業(yè)詞匯的過(guò)程，目的從第一步中所產(chǎn)生的新的詞匯中抽取出新的屬于目標(biāo)領(lǐng)域的專(zhuān)業(yè)詞匯。在這個(gè)步驟中，本文使用了Ap

3、riori方法，首先發(fā)現(xiàn)詞匯組合中的頻繁項(xiàng)目集合，再生成相應(yīng)的關(guān)聯(lián)規(guī)則以達(dá)到新的專(zhuān)業(yè)詞匯提取的目的。這個(gè)步驟涉及噪聲詞過(guò)濾的問(wèn)題，考慮到低頻噪聲詞可以在使用關(guān)聯(lián)規(guī)則處理的過(guò)程中過(guò)濾掉，本文所指的噪聲詞過(guò)濾主要是對(duì)高頻噪聲詞的過(guò)濾，對(duì)于這些詞匯，本文的解決方式是使用文獻(xiàn)分類(lèi)的方式，將一個(gè)大的領(lǐng)域分為多個(gè)細(xì)分領(lǐng)域，這樣，那些同屬于多個(gè)細(xì)分領(lǐng)域的詞匯就可以被看做是非專(zhuān)業(yè)詞匯，也就是噪聲詞，可以將這些詞匯過(guò)濾掉。
　　在研究中文分詞算法以

4、及專(zhuān)業(yè)詞匯提取算的基礎(chǔ)上，本文設(shè)計(jì)了一個(gè)原型系統(tǒng)來(lái)測(cè)試算法的有效性，該系統(tǒng)包括文獻(xiàn)預(yù)處理、中文分詞、文檔切割、高頻噪聲詞過(guò)濾、發(fā)現(xiàn)頻繁項(xiàng)目集、提取新詞等模塊，涵蓋了本文所研究的各個(gè)環(huán)節(jié)。測(cè)試表明，本文的中文分詞算法可以有效地發(fā)現(xiàn)新的詞匯，而專(zhuān)業(yè)詞匯提取算法也取得了良好的效果。
　　本文的創(chuàng)新之處有：
　?。?）將N-Gram方法和Apriori方法結(jié)合在一起，并對(duì)兩種方法加以改進(jìn)。利用N-Gram方法結(jié)合詞典方法進(jìn)行中文分詞