面向大數(shù)據(jù)集成的實體識別框架及關鍵技術的研究.pdf

1、現(xiàn)代互聯(lián)網(wǎng)每日產(chǎn)生大量的數(shù)據(jù)，引發(fā)了對大規(guī)模數(shù)據(jù)的處理的需求。面對海量的數(shù)據(jù)，提出了新形式的分布式文件存儲系統(tǒng)，并且基于文件系統(tǒng)之上提出了并行的計算方式解決大數(shù)據(jù)帶來的計算效率的挑戰(zhàn)。最具代表的是Google提出的MapReduce并行編程框架，使得很多基于大數(shù)據(jù)的最常見計算能夠在大規(guī)模計算集群中得以高效的實現(xiàn)。實體識別(Entity Resolution)是指在判斷一個或多個數(shù)據(jù)源中兩個不同記錄是否描述相同實體，它有時也被稱作記錄連接

2、(Record Linkage)，在數(shù)據(jù)集成中被用于數(shù)據(jù)清洗(Data Clean)、去重(Deduplication)和相似連接(Similarity Joins)等集成操作中。實體識別技術可被廣泛應用于人口普查、引文識別、Web搜索、數(shù)據(jù)清洗以及剽竊檢驗等諸多領域。然而隨著數(shù)據(jù)集規(guī)模的日益增大，集中式處理幾百GB數(shù)據(jù)時已經(jīng)出現(xiàn)性能瓶頸，更不用說TB、PB級別。由于實體識別本身可以采用并行計算模型進行處理，因此采用MapReduce分

3、布式計算模型能夠很好地處理大規(guī)模數(shù)據(jù)集上的實體識別問題，提高執(zhí)行效率。
　　本文提出了基于MapReduce的實體識別框架VEER，其中包含三個處理階段。第一個階段VEER從一組數(shù)據(jù)源中發(fā)現(xiàn)所有滿足閾值的相似記錄對。這個工作是基于相似連接算法的。第二個階段劃分所有的相似記錄對，形成相似子圖集合。第三個階段利用ICAR原則合并每個相似子圖中的實體。VEER框架允許實體識別任務從任何一個階段開始運行，以適應不同需求的應用。為了提高實體

4、識別框架對大數(shù)據(jù)的處理效率，本文重點研究了分布式相似連接算法和任務調(diào)度策略兩個問題。針對分布式相似連接，本文提出了基于前綴與位置信息的過率算法，通過降低記錄間匹配數(shù)量提高執(zhí)行效率。針對本框架的不同處理階段，本文分別提出了面向負載均衡和子圖構建的任務調(diào)度算法，從而提高MapReduce任務的執(zhí)行效率。本文基于Hadoop系統(tǒng)和VEER框架實現(xiàn)了實體識別原形系統(tǒng)。該原型系統(tǒng)在為用戶提供了友好的交互界面同時，能夠有效地提高相似連接的的過濾性能

5、和集群的利用率。
　　對于本文提出的基于MapReduce框架的相似連接算法和調(diào)度策略，本文在VEER實體識別原型系統(tǒng)上采用DBLP和Citeseerx的真實數(shù)據(jù)集進行了實驗。通過實驗，我們比較了不同相似連接算法在時間代價以及集群的利用率上的性能。實驗結果表明本文的算法能夠穩(wěn)定地的運行在集群中，每個單點的執(zhí)行負載基本相同，整體的運行效率隨著數(shù)據(jù)規(guī)模的增加會有顯著提高。本文的VEER實體識別工具能夠很好地執(zhí)行MapReduce集群調(diào)