中文維基百科的結(jié)構(gòu)化信息抽取及詞語相關(guān)度計算.pdf

1、為了提高計算機(jī)的智能化程度，在自然語言處理的過程中，加入語義知識的理解是非常必要的。隨著日益增長的信息處理需求，如何從海量的語料資源中自動地獲取豐富的語義知識，以及如何有效地利用這些語義知識來實(shí)現(xiàn)對文本語義的理解，已成為一個重要的研究課題。
　　維基百科作為一個以開放和用戶協(xié)作編輯為特點(diǎn)的Web2.0知識系統(tǒng)，具有知識面覆蓋度廣，結(jié)構(gòu)化程度高，信息更新速度快等優(yōu)點(diǎn)，其中蘊(yùn)涵有豐富的語義知識，是目前眾多學(xué)者進(jìn)行語義知識抽取所青睞的語

2、料數(shù)據(jù)資源。然而，維基百科的官方僅提供一些半結(jié)構(gòu)化的基本數(shù)據(jù)文件的備份，很多有用的結(jié)構(gòu)化信息和數(shù)據(jù)，并不能直接地獲取和使用。
　　為此，本文首先從這些半結(jié)構(gòu)化的基本數(shù)據(jù)中抽取整理出多種結(jié)構(gòu)化信息;接著，對維基百科的知識組織形式進(jìn)行了抽象架構(gòu)，實(shí)現(xiàn)了一套開放的API接口，減輕了用戶從中獲取結(jié)構(gòu)化信息的難度;最后，利用這些信息數(shù)據(jù)，本文提出了一種新的計算詞語間語義相關(guān)度的算法。因此，本文的主要工作包含以下幾個方面:
　　第一，結(jié)

3、構(gòu)化信息的抽取。首先從維基百科官方網(wǎng)站下載了所需的備份數(shù)據(jù)資源;接著，先把備份數(shù)據(jù)文本中的繁體字全部轉(zhuǎn)換為簡體，再從中抽取整理出條目間內(nèi)鏈接信息，分類系統(tǒng)，錨文本數(shù)據(jù)等多種結(jié)構(gòu)化信息;然后，把這些信息全部存儲到數(shù)據(jù)庫中，并對重要的字段建立了索引。
　　第二，對維基百科知識組織形式的抽象架構(gòu)。首先分析了維基百科中條目的不同作用，進(jìn)而把所有的條目分為六種類型;然后，針對每種類型的條目，總結(jié)并實(shí)現(xiàn)了獲取其相應(yīng)的結(jié)構(gòu)化信息的方法;最終，實(shí)

4、現(xiàn)了一套開放的API接口，方便了用戶更直觀地了解和使用這些結(jié)構(gòu)化信息。
　　第三，提出了一種新的計算詞語間語義相關(guān)度的算法。在對比總結(jié)人工語義知識庫與維基百科異同點(diǎn)的基礎(chǔ)上，借鑒傳統(tǒng)算法的優(yōu)點(diǎn)，結(jié)合中文維基百科數(shù)據(jù)的自身特點(diǎn)，提出了一種新的計算詞語間語義相關(guān)度的算法，該算法綜合利用條目間內(nèi)鏈接，錨文本和分類系統(tǒng)三種結(jié)構(gòu)化信息，并通過核函數(shù)的思想，融合了分類間的語義知識。在實(shí)驗(yàn)部分，本文在不同的數(shù)據(jù)集上對比了本文算法與其他經(jīng)典算法的