基于眾包和兩層相關(guān)性聚類(lèi)的實(shí)體解析方法.pdf

1、在現(xiàn)實(shí)世界中，同一個(gè)實(shí)體可能被多個(gè)數(shù)據(jù)源中的記錄所描述。實(shí)體解析的任務(wù)就是確定哪些記錄描述著現(xiàn)實(shí)世界中的同一個(gè)實(shí)體。實(shí)體解析是數(shù)據(jù)集成和數(shù)據(jù)清理中的一個(gè)關(guān)鍵步驟，它不僅能夠提高數(shù)據(jù)的質(zhì)量，還能夠豐富單一數(shù)據(jù)的內(nèi)容。然而，隨著大數(shù)據(jù)時(shí)代的到來(lái)，各式各樣的數(shù)據(jù)質(zhì)量問(wèn)題為實(shí)體解析帶來(lái)了前所未有的挑戰(zhàn)。面對(duì)紛雜的數(shù)據(jù)質(zhì)量問(wèn)題，傳統(tǒng)的實(shí)體解析算法在效率、質(zhì)量，特別是抗噪聲能力方面的表現(xiàn)并不理想。在數(shù)據(jù)存在噪聲的情況下，實(shí)體解析算法經(jīng)常會(huì)出現(xiàn)不一致

2、的判斷結(jié)果，傳統(tǒng)的做法是在匹配結(jié)果之上進(jìn)行一次傳遞性閉包分析，這種做法極易將錯(cuò)誤放大和傳遞。
　　相關(guān)性聚類(lèi)是實(shí)體解析的一個(gè)標(biāo)準(zhǔn)方法，它以記錄對(duì)的匹配程度為依據(jù)，產(chǎn)生最大程度支持這些依據(jù)的聚類(lèi)結(jié)果。相關(guān)性聚類(lèi)為NP-hard問(wèn)題，很多啟發(fā)式的算法被提出，但效果并不理想。本文在相關(guān)性聚類(lèi)的基礎(chǔ)上，提出一個(gè)快速有效、抗噪聲能力比較強(qiáng)和可擴(kuò)展的實(shí)體解析方法。主要研究工作如下:
　　(1)提出一種新穎的兩層相關(guān)性聚類(lèi)框架。該框架上層

3、采用預(yù)分塊算法對(duì)節(jié)點(diǎn)進(jìn)行可重疊的分塊;下層則使用調(diào)整塊算法去除上層算法的重疊部分。
　　(2)首次在相關(guān)性聚類(lèi)問(wèn)題中引入公共鄰居的概念，并基于鄰居關(guān)系給出鄰居相似度的計(jì)算方法。本文首先分析如何使用鄰居來(lái)表示一個(gè)塊，并由此提出一個(gè)啟發(fā)式的上層預(yù)分塊算法。
　　(3)提出核的概念，并由此定義節(jié)點(diǎn)與塊之間的關(guān)聯(lián)程度。核的概念突出塊內(nèi)關(guān)聯(lián)強(qiáng)度最大的部分，由核來(lái)決定節(jié)點(diǎn)與塊之間的關(guān)聯(lián)程度可以更加準(zhǔn)確地判斷節(jié)點(diǎn)的歸屬，進(jìn)而提高實(shí)體解析的