大數(shù)據(jù)下基于塊依賴的實體解析方法.pdf

1、實體解析是指對同一實體的不同的表現(xiàn)形式進行識別、連接和分組，它在數(shù)據(jù)庫管理、機器學習和信息檢索中均有廣泛應用。傳統(tǒng)的實體解析方法主要針對小數(shù)據(jù)集，重點關注解析結果的準確性，隨著大數(shù)據(jù)時代的到來，數(shù)據(jù)量急劇增加，傳統(tǒng)的實體解析方法由于時間復雜度較高，難以處理海量的數(shù)據(jù)集。因此，我們需要更加有效的策略以解決海量數(shù)據(jù)帶來的困難和挑戰(zhàn)。
　　為適應海量數(shù)據(jù)的實體解析工作，本文針對時間效率問題提出一種基于塊依賴的實體解析方法，主要工作如下:

2、(1)通過對原數(shù)據(jù)按照設定的分塊標準進行數(shù)據(jù)集的分塊，依靠分塊技術初步減少計算量;(2)提出區(qū)域和依賴度的概念，設定數(shù)據(jù)篩選標準，篩選出與原分塊中依賴度較低的實體，使其在下一階段中進行二次匹配，以保證解析結果的正確性，并通過控制篩選出的實體數(shù)量，在一定程度上控制二次匹配的計算量，從而控制解析時間;(3)通過設定跨度距離來控制與已篩選實體進行二次匹配的實體的數(shù)量，進一步控制計算量，提高時間效率;(4)實現(xiàn)了數(shù)據(jù)分塊階段和跨度距離設定階段的