數(shù)據(jù)清洗的若干關(guān)鍵技術(shù)研究.pdf

1、隨著全球信息化進程加速推進，為了能在激烈競爭中占據(jù)有利位置，各行各業(yè)都在實施信息化工程，數(shù)據(jù)倉庫的應(yīng)用是信息化程度的重要體現(xiàn)之一，它是決策支持的基礎(chǔ)。數(shù)據(jù)倉庫中數(shù)據(jù)正確性對于數(shù)據(jù)倉庫的應(yīng)用至關(guān)重要，并會進一步影響后期的決策行為。由于數(shù)據(jù)倉庫中的數(shù)據(jù)來自多種業(yè)務(wù)數(shù)據(jù)源，這些數(shù)據(jù)源可能存儲在不同的硬件平臺上，使用不同的操作系統(tǒng)，由于各種原因，不可避免地產(chǎn)生很多的數(shù)據(jù)質(zhì)量問題，主要表現(xiàn)為：(1)相似重復(fù)記錄；(2)異常記錄。數(shù)據(jù)清洗的目標(biāo)就是

2、對數(shù)據(jù)倉庫的數(shù)據(jù)進行整理和規(guī)范，消除歧義，提高數(shù)據(jù)質(zhì)量，因此數(shù)據(jù)清洗被認(rèn)為是數(shù)據(jù)倉庫建設(shè)過程中需要解決的最重要問題之一。 本文首先論述數(shù)據(jù)質(zhì)量的相關(guān)理論，進而分析了數(shù)據(jù)清洗的必要性以及國內(nèi)外數(shù)據(jù)清洗研究動態(tài)，同時闡述了數(shù)據(jù)清洗的相關(guān)理論。重點對相似重復(fù)記錄檢測及異常記錄檢測所用到各種算法進行了深入的研究，并提出相應(yīng)的改進算法，在此基礎(chǔ)上設(shè)計了一個數(shù)據(jù)清洗的框架模型，實驗和實踐表明，相應(yīng)的改進算法有很好的效果，數(shù)據(jù)清洗框架模型有很

3、強的實用價值。 本文的主要工作有： (1)提出基于等級分組的相似重復(fù)記錄檢測算法。根據(jù)等級法計算每個字段的權(quán)值，按照分組思想，選擇某關(guān)鍵字段或字段某些位將大數(shù)據(jù)集分割成許多不相交的小數(shù)據(jù)集，再在各個小數(shù)據(jù)集中檢測相似重復(fù)記錄，并引入多趟查找算法，實驗表明此算法能快速準(zhǔn)確檢測重復(fù)記錄。 (2)提出基于加權(quán)快速聚類的異常記錄檢測算法。首先，每個屬性被賦予一定權(quán)值，權(quán)值的大小要體現(xiàn)其對分類的貢獻度，并根據(jù)屬性的權(quán)值的特