基于聚類樹的相似重復(fù)記錄檢測算法改進(jìn)研究.pdf

1、數(shù)據(jù)倉庫中數(shù)據(jù)來源的多渠道導(dǎo)致相似重復(fù)記錄增多，嚴(yán)重影響了數(shù)據(jù)利用的效率和決策質(zhì)量。相似重復(fù)記錄的檢測和消除成為數(shù)據(jù)倉庫、知識發(fā)現(xiàn)等領(lǐng)域的熱點研究問題。由于大多數(shù)的決策應(yīng)用都是基于動態(tài)數(shù)據(jù)庫，因此增量式相似重復(fù)記錄檢測研究更是受到組織和學(xué)者的關(guān)注?；诰垲悩涞臋z測算法是一種比較好的增量式相似重復(fù)記錄檢測方法。但該算法存在效率不高、精度低下的問題。鑒于此，本文使用等級法進(jìn)行屬性約減，并為聚類樹構(gòu)建過程增設(shè)了一個閾值，提出了一種改進(jìn)的基于聚

2、類樹檢測算法。
　　 本文首先綜述了數(shù)據(jù)質(zhì)量、數(shù)據(jù)清洗和相似重復(fù)記錄檢測的相關(guān)理論和方法。其次，分析了基于聚類樹檢測算法存在的問題，針對這些問題提出了改進(jìn)思路和方法，即采用等級權(quán)重法約減屬性給屬性排序以提高算法的精度，通過增設(shè)記錄閾值提高算法的效率，并給出了改進(jìn)后的算法過程。最后，以SQL SeverManagement Studio為DBMS、MyEclipse7.0為程序開發(fā)工具，開發(fā)了ICT-Syst(Improved C