基于迭代式SNM的實(shí)體解析方法及優(yōu)化策略的研究.pdf

1、實(shí)體解析（Entity Resolution，也稱為實(shí)體識(shí)別）是數(shù)據(jù)挖掘、信息融合等領(lǐng)域的難點(diǎn)問(wèn)題，利用實(shí)體解析技術(shù)可以判斷一個(gè)或多個(gè)數(shù)據(jù)源中的不同記錄是否描述相同實(shí)體，對(duì)數(shù)據(jù)集成中產(chǎn)生的重復(fù)記錄進(jìn)行檢測(cè)并整合，可有效地消除數(shù)據(jù)源內(nèi)部以及數(shù)據(jù)源之間的數(shù)據(jù)不一致性。
　　然而，隨著互聯(lián)網(wǎng)的日益興起，網(wǎng)絡(luò)數(shù)據(jù)呈爆炸式增長(zhǎng)，如何使實(shí)體解析技術(shù)有效地應(yīng)用于更加雜亂無(wú)章的大規(guī)模數(shù)據(jù)環(huán)境中，是目前國(guó)內(nèi)外數(shù)據(jù)挖掘、信息融合等領(lǐng)域研究學(xué)者的研究熱

2、點(diǎn)，其研究目標(biāo)或者在于獲取較高的識(shí)別結(jié)果質(zhì)量、或者在于獲取較高的實(shí)體解析效率。相應(yīng)地，基于迭代的實(shí)體解析方法和基于SNM(Sorted NeighborhoodMethod，簡(jiǎn)稱SNM即近鄰排序)的實(shí)體解析方法被分別提出:前者通過(guò)迭代式地進(jìn)行實(shí)體匹配和整合來(lái)提高識(shí)別結(jié)果的質(zhì)量，但該方法往往具有較高的時(shí)間復(fù)雜度;后者采用滑動(dòng)窗口方法，每次只在窗口范圍內(nèi)進(jìn)行實(shí)體匹配，優(yōu)點(diǎn)是匹配效率較高，缺點(diǎn)是難以保證識(shí)別結(jié)果的質(zhì)量。
　　針對(duì)上述問(wèn)題

3、，本文提出了一種基于迭代式SNM的實(shí)體解析方法，該方法將基于迭代的實(shí)體解析方法和基于SNM的實(shí)體解析方法的優(yōu)點(diǎn)相結(jié)合，能夠在保證實(shí)體解析結(jié)果的質(zhì)量的同時(shí)，有效地提高實(shí)體解析的效率。本文的主要工作及貢獻(xiàn)點(diǎn)如下：
　　(1)系統(tǒng)地介紹了實(shí)體解析問(wèn)題的國(guó)內(nèi)外研究現(xiàn)狀，簡(jiǎn)要概括了代表性的相關(guān)工作，指出其優(yōu)缺點(diǎn)，并分析現(xiàn)存研究的不足之處。
　　(2)針對(duì)已有問(wèn)題，提出了一種基于迭代式SNM的兩階段實(shí)體解析方法(IterativeSNM

4、-based Two-stage Entity Resolution Method，簡(jiǎn)稱SIER)，該方法將實(shí)體解析過(guò)程分為兩個(gè)階段:第一階段基于SNM進(jìn)行初始實(shí)體匹配，能夠快速地對(duì)實(shí)體進(jìn)行劃分，得到初始匹配結(jié)果;第二階段通過(guò)對(duì)記錄進(jìn)行迭代式比較和合并，對(duì)第一階段得到的初始匹配結(jié)果進(jìn)行不斷地修正，以提高結(jié)果的召固率，同時(shí)由于每次迭代的比較范圍只在迭代窗口內(nèi)進(jìn)行，從而保證了實(shí)體解析的速率。
　　(3)進(jìn)一步改進(jìn)了SIER實(shí)體解析算法