數(shù)據(jù)清洗方法研究及工具設(shè)計(jì).pdf

1、隨著信息技術(shù)發(fā)展和企業(yè)信息化建設(shè)的進(jìn)行，企業(yè)自身積累了大量的業(yè)務(wù)數(shù)據(jù)，這些數(shù)據(jù)對(duì)于企業(yè)非常珍貴，是企業(yè)了解自身經(jīng)營(yíng)狀況及進(jìn)行正確決策的基礎(chǔ)。由于用戶錄入錯(cuò)誤、系統(tǒng)集成及企業(yè)環(huán)境變化等因素，都會(huì)影響到數(shù)據(jù)質(zhì)量。為此研究企業(yè)信息系統(tǒng)中數(shù)據(jù)清洗問題具有很強(qiáng)的理論性和實(shí)用性。
　　 論文通過對(duì)企業(yè)信息系統(tǒng)中存在的數(shù)據(jù)質(zhì)量問題及數(shù)據(jù)清洗方法的分析與研究，詳細(xì)論述了數(shù)據(jù)質(zhì)量的概念、問題種類及影響數(shù)據(jù)質(zhì)量的因素，并提出了自己對(duì)數(shù)據(jù)質(zhì)量的定義及

2、數(shù)據(jù)清洗的一般過程。
　　 在數(shù)據(jù)清洗方面，分析了當(dāng)前對(duì)數(shù)據(jù)清洗方法的研究。提出了基于業(yè)務(wù)邏輯的數(shù)據(jù)清洗方法；在基本臨近排序算法的基礎(chǔ)上提出了改進(jìn)的相似重復(fù)記錄匹配算法，對(duì)其中的關(guān)鍵步驟進(jìn)行了改進(jìn)，提高了相似重復(fù)記錄的匹配度和檢測(cè)效率。
　　 在通用數(shù)據(jù)清理工具的設(shè)計(jì)開發(fā)上，提出了一種通用可擴(kuò)展的數(shù)據(jù)清洗工具平臺(tái)，文中詳細(xì)論述了該平臺(tái)的設(shè)計(jì)、開發(fā)和實(shí)現(xiàn)過程。通用可擴(kuò)展數(shù)據(jù)清洗工具平臺(tái)具有開放的算法庫(kù)和規(guī)則庫(kù)，并可以進(jìn)行擴(kuò)