數(shù)據(jù)清理系統(tǒng)EDCS的研究與實現(xiàn).pdf

1、對于建立在數(shù)據(jù)倉庫之上的決策支持系統(tǒng),數(shù)據(jù)的正確性對避免錯誤的決策是至關(guān)重要的,錯誤的數(shù)據(jù)將會導(dǎo)致"垃圾進(jìn),垃圾出".因此在構(gòu)建數(shù)據(jù)倉庫時,必須對各種異質(zhì)數(shù)據(jù)源進(jìn)行數(shù)據(jù)清理,以保證數(shù)據(jù)質(zhì)量.數(shù)據(jù)清理可以劃分為若干原子操作,通過原子操作的有機(jī)組合執(zhí)行各種數(shù)據(jù)清理任務(wù).在此基礎(chǔ)上,提出了數(shù)據(jù)清理系統(tǒng)EDCS的總體結(jié)構(gòu).異質(zhì)數(shù)據(jù)源中存在多條記錄指向同一實體的問題,數(shù)據(jù)清理的一個主要工作就是識別這些近似記錄并將其合并.在EDCS中,通過字段值語

2、法上比較結(jié)果的綜合來決定兩條記錄語義上是否相似.我們對文本字符串匹配方法進(jìn)行研究,提出了R<,->EDist方法,將遞歸匹配思想和編輯距離方法結(jié)合起來,既能識別拼寫錯誤,又能夠識別子串顛倒和縮寫.在字段比較結(jié)果進(jìn)行綜合時,提出有效權(quán)重的概念,以此消除字段缺失對判斷記錄相似性的影響,提高了重復(fù)記錄識別的精確度.數(shù)據(jù)倉庫需要集成大量的數(shù)據(jù),快速而準(zhǔn)確地識別其中的近似重復(fù)記錄是數(shù)據(jù)清理系統(tǒng)實用化面臨的一個非常關(guān)鍵的問題.在EDCS中,為了縮小