基于錨文本的領域語料庫自動構(gòu)建.pdf

1、隨著互聯(lián)網(wǎng)技術的飛速發(fā)展,不同領域網(wǎng)絡信息的種類和組成形式愈加復雜,每個網(wǎng)站節(jié)點都具有復雜的分類體系結(jié)構(gòu),并且包含豐富的文本信息,如何將大量的文本信息標注到對應正確類別體系中,將標注好的文本集合構(gòu)建成一個領域語料庫,成為了當前的一個熱點問題。雖然通過人工標注構(gòu)建的語料庫滿足較高的標準性和準確性,但是當分類體系結(jié)構(gòu)自動更新時,則必須重新對語料庫中的文本集合進行標注。針對人工構(gòu)建語料庫的這一缺陷,本文研究如何根據(jù)領域網(wǎng)站的本體結(jié)構(gòu)和給定的目

2、標分類體系,自動構(gòu)建領域語料庫。
　　本文首先分析領域網(wǎng)站結(jié)構(gòu),提出基于網(wǎng)頁結(jié)構(gòu)及錨文本信息的方法獲取領域網(wǎng)站的本體結(jié)構(gòu),構(gòu)建對應的文本結(jié)構(gòu)樹。然后根據(jù)給定的分類體系結(jié)構(gòu),提出了基于共同子樹的網(wǎng)頁類別錨文本獲取算法,抽取領域網(wǎng)站本體結(jié)構(gòu)樹和給定分類體系之間的共同子樹,從而確定領域網(wǎng)站中的某一類別在給定分類體系中的確切位置,并從領域網(wǎng)站該類別中獲取相關的網(wǎng)頁。接著針對網(wǎng)頁中包含的噪聲信息等無關聯(lián)信息,本文提出基于共同子樹的領域網(wǎng)站網(wǎng)

3、頁錨文本鏈接及正文的算法獲取高質(zhì)量的領域語料文本。
　　針對構(gòu)建后的領域語料庫中的噪聲語料文本,本文綜合運用凝聚層次聚類和近鄰傳播聚類去除每個類別內(nèi)的噪聲文本,提高語料庫語料的準確性,算法主要對一個類別中的語料文本集合進行聚類,最后將最大簇中的文本作為該類別的語料。
　　實驗表明,基于錨文本的領域語料庫自動構(gòu)建方法所獲得的語料達到了較高的準確率,近似于人工標注語料庫的準確性。通過實驗對比,經(jīng)過凝聚層次聚類的語料庫中的語料達到