數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)質(zhì)量問(wèn)題研究及數(shù)據(jù)清洗工具Data Cleaner的設(shè)計(jì)實(shí)現(xiàn).pdf

1、隨著計(jì)算機(jī)網(wǎng)絡(luò)和數(shù)據(jù)庫(kù)技術(shù)的飛速發(fā)展以及人們獲取數(shù)據(jù)手段的多樣化,我們所擁有的數(shù)據(jù)資源日益豐富,數(shù)據(jù)量急劇增加.許多企業(yè)在長(zhǎng)期的運(yùn)營(yíng)過(guò)程中積累了大量紛繁復(fù)雜的數(shù)據(jù),這些數(shù)據(jù)能夠反映出企業(yè)生產(chǎn)經(jīng)營(yíng)過(guò)程中規(guī)律性的信息和知識(shí),數(shù)據(jù)已成為最有價(jià)值的企業(yè)資產(chǎn).但是面對(duì)數(shù)量如此巨大而零亂的數(shù)據(jù)人工處理是非常困難的.數(shù)據(jù)倉(cāng)庫(kù)就是針對(duì)解決上述問(wèn)題所產(chǎn)生的一種技術(shù)方案.數(shù)據(jù)倉(cāng)庫(kù)技術(shù)的出現(xiàn)是由于決策支持系統(tǒng)發(fā)展的需要.但是數(shù)據(jù)的價(jià)值在于它的質(zhì)量,基于劣質(zhì)數(shù)

2、據(jù)的決策是不可信的.管理者的決策質(zhì)量與數(shù)據(jù)質(zhì)量和可用性直接有關(guān).數(shù)據(jù)質(zhì)量問(wèn)題是制約數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用的"瓶頸"之一.數(shù)據(jù)倉(cāng)庫(kù)是數(shù)據(jù)挖掘和決策分析的基礎(chǔ),糾正數(shù)據(jù)錯(cuò)誤是避免錯(cuò)誤決策、降低決策風(fēng)險(xiǎn)的重要一環(huán),數(shù)據(jù)清洗就是用來(lái)完成這項(xiàng)艱巨任務(wù)的.該文介紹數(shù)據(jù)質(zhì)量的概念,對(duì)數(shù)據(jù)質(zhì)量問(wèn)題按其類型進(jìn)行分類,并介紹了解決不同的數(shù)據(jù)質(zhì)量問(wèn)題的相應(yīng)的數(shù)據(jù)清洗方法.詳細(xì)闡述了針對(duì)數(shù)據(jù)倉(cāng)庫(kù)中面臨的數(shù)據(jù)質(zhì)量問(wèn)題而設(shè)計(jì)實(shí)現(xiàn)的數(shù)據(jù)清洗工具DataCleaner的體系結(jié)構(gòu)

3、、流程和各個(gè)模塊的功能.對(duì)數(shù)據(jù)清洗工具DataCleaner主要實(shí)現(xiàn)了以下功能:(1)設(shè)計(jì)并實(shí)現(xiàn)了數(shù)據(jù)源選擇和數(shù)據(jù)轉(zhuǎn)換條件模塊,使用戶可以方便的從界面選擇;(2)設(shè)計(jì)并實(shí)現(xiàn)了數(shù)據(jù)表瀏覽模塊和數(shù)據(jù)表信息統(tǒng)計(jì)模塊,使用戶可以在數(shù)據(jù)清洗過(guò)程中可以掌握數(shù)據(jù)表的信息,從而指導(dǎo)下一步的數(shù)據(jù)清洗;(3)設(shè)計(jì)并實(shí)現(xiàn)了包括蘊(yùn)含值分離,分離字段合并,字符型字段規(guī)范化,缺失值處理,重復(fù)元組檢測(cè),異常值檢測(cè)等等各種數(shù)據(jù)清洗算法,可以很好地完成數(shù)據(jù)清洗任務(wù);(4