Web數(shù)據(jù)集成中實體統(tǒng)一問題研究.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展,網(wǎng)上數(shù)據(jù)量也呈指數(shù)級增長,Web已經(jīng)成為一個非常巨大的數(shù)據(jù)源。為了高效地利用Web上有效信息,研究者們提出了Web數(shù)據(jù)集成的概念。Web數(shù)據(jù)集成就是把分散在Web上各個站點的各種數(shù)據(jù)信息按照一定的聯(lián)系有機地組織到一起,挖掘數(shù)據(jù)中包含的深層信息,以滿足人們對集成數(shù)據(jù)的后續(xù)使用。由于Intemet上數(shù)據(jù)的新特點,動態(tài)性、多樣性、半結(jié)構(gòu)化和非結(jié)構(gòu)化等,使得從Internet上準確快速的集成有價值信息并為市場情報分析提供有

2、價值數(shù)據(jù)成為了一個巨大的挑戰(zhàn)。其中實體統(tǒng)一是Web信息集成框架中最關(guān)鍵問題之一。由于拼寫錯誤,縮寫等原因,導致數(shù)據(jù)抽取和模式匹配之后的數(shù)據(jù)集合中可能存在大量的相同表象指向不同實體或者不同表象指向同一實體的問題,這個問題大大影響了數(shù)據(jù)質(zhì)量。為了避免“進去的是垃圾,出來的也是垃圾(garbage in,garbage out)",必須盡力提高數(shù)據(jù)質(zhì)量。集成后的數(shù)據(jù)質(zhì)量的好壞直接影響到Web數(shù)據(jù)集成后捉供給用戶的服務質(zhì)量,因此,實體統(tǒng)一技術(shù)是

3、Web信息集成中必須研究的問題。
　　 針對不同領(lǐng)域及其不同需求,Web上數(shù)據(jù)經(jīng)過數(shù)據(jù)抽取和模式匹配,存儲到數(shù)據(jù)庫中之后,待統(tǒng)一實體可能面臨兩種情況:一是單一類型實體,這種情況實體統(tǒng)一要解決的是單一類型實體表象之間的識別問題,主要從減少表象比較次數(shù)方面考慮;二是多類型實體,這種實體統(tǒng)一要對數(shù)據(jù)庫中所有類型實體都要進行識別,此時需要解決的問題是如何統(tǒng)一多類型實體的問題,使得實體統(tǒng)一結(jié)果之間互相促進,以達到比單獨統(tǒng)一每種類型實體更好

4、的結(jié)果。
　　 木文的主要工作包括:
　　 1)針對單類型實體的實體統(tǒng)一提出了一種高效的解決方案。首先提出了一種Blocking方法,將待統(tǒng)一的表象劃分為兩類,一是可能指向相同現(xiàn)實實體的不同表象,二是可能指向不同現(xiàn)實實體的相同表象。對兩種表象分別采用兩種不同的算法進行統(tǒng)一,存統(tǒng)一的過程中,兩類實體統(tǒng)一之間又會相互促進,進而大大提高實體統(tǒng)一的效率和準確性。
　　 2)針對多類型實體的實體統(tǒng)一提出了一種新穎的解決方案