Web個人信息集成問題研究.pdf

1、Web個人信息指存在于網(wǎng)頁中與一個人相關(guān)的信息,依照存在方式不同,可分為以結(jié)構(gòu)化形式表達的個人直觀屬性和隱藏在非結(jié)構(gòu)化文本中的非直觀信息。隨著網(wǎng)絡(luò)技術(shù)成熟和網(wǎng)絡(luò)應(yīng)用深入發(fā)展,互聯(lián)網(wǎng)網(wǎng)站數(shù)量呈爆炸式增長,其上個人信息資源數(shù)量也很驚人,內(nèi)容豐富,涵蓋了人們生活和工作的各個領(lǐng)域,根據(jù)Web查詢統(tǒng)計,約11％-17％的查詢包括人名,約4％的Web查詢只包括人名,說明了從互聯(lián)網(wǎng)上獲取與個人相關(guān)信息已成為最常見的用戶行為之一。
　　 基于信

2、息檢索技術(shù)的搜索引擎為用戶提供查找與個人相關(guān)網(wǎng)頁的途徑,能夠?qū)⑴c需求相匹配的網(wǎng)頁鏈接返回給用戶,并且可以按照一定排名規(guī)則對網(wǎng)頁進行排序,但是,對于網(wǎng)頁中需要文本深入分析的豐富的個人信息獲取卻無能為力。為了突破搜索引擎在互聯(lián)網(wǎng)個人信息處理中的限制,實現(xiàn)對蘊含其中個人信息的獲取利用,業(yè)界和學(xué)術(shù)界開始從個人信息組織角度對互聯(lián)網(wǎng)個人信息進行研究。
　　 互聯(lián)網(wǎng)是分布式的、動態(tài)的、異構(gòu)的,包含個人信息網(wǎng)站的內(nèi)容并不一致,信息表達方式也不統(tǒng)

3、一,對個人信息組織并非易事。雖然,國內(nèi)外學(xué)者在信息組織角度對互聯(lián)網(wǎng)上個人信息進行的研究取得了一定進展,仍存在許多問題有待解決。(1)個人頁面的正確識別?；ヂ?lián)網(wǎng)中與個人信息相關(guān)網(wǎng)頁的相同人名對應(yīng)不同的人物個體,這些網(wǎng)頁中的個人信息屬于不同的同名人。面對同名人網(wǎng)頁混雜一起的現(xiàn)象,要對一個人的信息進行集成,首先必須將同名人網(wǎng)頁按照不同的人物個體區(qū)分,為進一步的信息抽取和分析做準備。(2)人物實體模式的不完備。來自不同數(shù)據(jù)源的數(shù)據(jù)在展現(xiàn)內(nèi)容和數(shù)

4、據(jù)模式等方面存在差異,相同的人物屬性,在不同的網(wǎng)站表現(xiàn)形式是不一致的。信息的不一致給人們應(yīng)用這些異構(gòu)信息帶來不便。為了有助于對各數(shù)據(jù)源的有效應(yīng)用,可以依據(jù)數(shù)據(jù)源間不同的表現(xiàn)形式和表現(xiàn)內(nèi)容,為人物實體建立融合在一起的全面的數(shù)據(jù)模式,為進一步從新的數(shù)據(jù)源對人物實體識別、抽取和集成提供指導(dǎo)。(3)人物實體活動的提取。人物實體活動是存在于網(wǎng)頁無結(jié)構(gòu)文本中的一種信息,與網(wǎng)頁中結(jié)構(gòu)化信息提取相比,無結(jié)構(gòu)化文本中信息提取更加困難,而用戶對其關(guān)注度遠遠

5、高于對結(jié)構(gòu)化信息關(guān)注度,因為這些信息更能夠刻畫一個人的生活狀態(tài)、工作狀態(tài)和態(tài)度立場等。然而,這些信息都存在于無結(jié)構(gòu)和半結(jié)構(gòu)化的文本中,由于先天的自然語言理解困難性,要對這些信息進行梳理,實現(xiàn)對這些信息的有效抽取是前提。
　　 Web信息集成是面向互聯(lián)網(wǎng)環(huán)境,在信息集成技術(shù)基礎(chǔ)上發(fā)展起來的研究,目的是對不同網(wǎng)站間異構(gòu)數(shù)據(jù)進行分析、篩選和合并,為用戶提供統(tǒng)一知識視圖和訪問方式,其實質(zhì)就是對互聯(lián)網(wǎng)信息的一種重新理解和組織。本文利用We

6、b信息集成相關(guān)技術(shù)對互聯(lián)網(wǎng)中龐大且凌亂的個人信息重新組織進行深入研究。
　　 本文研究的目的是獲取互聯(lián)網(wǎng)這個公開信息源上豐富與個人相關(guān)的網(wǎng)頁,抽取出網(wǎng)頁中個人的直觀屬性和非直觀信息,建立個人信息的全貌。研究內(nèi)容包括三方面,第一個內(nèi)容是Web人名消歧,這是個人信息重組的基礎(chǔ),只有利用網(wǎng)頁中人物個體的屬性特征,將包含同名人信息的網(wǎng)頁分類,才能降低同名不同人的人物個體網(wǎng)頁噪音,從中選擇出與信息重組特定人物個體最相關(guān)網(wǎng)頁。第二個內(nèi)容是人

7、物實體的全局模式構(gòu)建。Web數(shù)據(jù)源的數(shù)據(jù)模式和數(shù)據(jù)內(nèi)容各不相同,人物實體全局模式的構(gòu)建可以為人物實體新數(shù)據(jù)源發(fā)現(xiàn)、新數(shù)據(jù)源模式構(gòu)建和數(shù)據(jù)提取提供指導(dǎo),可以為人物實體統(tǒng)一視圖的建立提供依據(jù)。第三個內(nèi)容是人物實體活動抽取,將網(wǎng)頁中個人活動組織起來,能清晰看到其生活和工作的軌跡。
　　 本文貢獻主要包括以下三個方面:(1)采用了人物特征屬性和層次凝聚聚類方法解決Web網(wǎng)頁人名消歧問題。提出的基于搜索引擎的通用人名消歧框架,能夠避免需要

8、巨大精力和巨大投資的新的個人信息網(wǎng)頁搜索工具開發(fā),可以充分利用搜索引擎的優(yōu)勢,在系統(tǒng)消耗很低的情況下,得到高性能的人物實體數(shù)據(jù)集。多角度人物實體特征屬性選取,突破了單一人物實體特征屬性選擇,也不同于以文本特性代替人物實體特征的方法,基于此的網(wǎng)頁相似度計算比基于TF/IDF和向量空間模型的計算方法更加簡便合理。(2)采用漸進式方法進行人物實體全局模式的動態(tài)構(gòu)建。提出的基于人物實體結(jié)構(gòu)化信息網(wǎng)頁進行人物實體全局模式構(gòu)建的方法,即縮小了構(gòu)建對

9、象范圍,又能保證足夠?qū)嶓w實例用于構(gòu)建,給出的人物實體結(jié)構(gòu)化信息網(wǎng)頁判定方法抓住了人物實體結(jié)構(gòu)化信息的幾個關(guān)鍵特性,既能保證人物實體結(jié)構(gòu)化網(wǎng)頁選取的準確性,又能提高選取的效率。本文提出的人物實體全局模式動態(tài)構(gòu)建,突破了事先對人物實體模式進行定義,只能抽取固定屬性的限制,又避免了一次性構(gòu)建人物實體全局模式的弊端,能夠及時將新的數(shù)據(jù)模式融合到全局模式中,適應(yīng)數(shù)據(jù)源的動態(tài)性,從而保證全局模式的完整性。(3)采用條件隨機場模型進行人物實體活動的抽

10、取。由于自然語言處理的復(fù)雜性,人物實體非直觀信息的抽取一直是研究的難點,而人物實體活動本身又是傳統(tǒng)信息抽取很少考慮的一種信息類型。本文對人物實體活動的研究是對Web實體信息抽取研究的完善,給出的人物實體活動形式化定義不僅包括人物實體作為主體的活動,而且包括人物實體作為客體的活動,對人物實體生活和工作軌跡的把握更加全面。在利用條件隨機場進行活動要素標注過程中,除了常用的詞性特征,還增加了一個詞在句子中的位置特征和命名實體特征,實驗證明這兩