面向數(shù)據(jù)挖掘的數(shù)據(jù)預(yù)處理系統(tǒng)設(shè)計與實現(xiàn).pdf

1、企業(yè)信息化的高速發(fā)展使得各企業(yè)都積累了大量的數(shù)據(jù)，他們都在絞盡腦汁的試圖將這些數(shù)據(jù)應(yīng)用到自身發(fā)展的決策中.數(shù)據(jù)挖掘的目的是從大量數(shù)據(jù)中提取隱含的同時又是極為有用的信息，使數(shù)據(jù)得到有效的利用.然而，由于數(shù)據(jù)庫架構(gòu)設(shè)計不合理，數(shù)據(jù)管理維護不當，數(shù)據(jù)采集或錄入的錯誤和一些其他原因等，導致數(shù)據(jù)中難免會存在一些問題．此外，企業(yè)與企業(yè)間的數(shù)據(jù)交流也產(chǎn)生了大量的數(shù)據(jù)質(zhì)量問題．這些問題很大程度上影響著數(shù)據(jù)挖掘的成?。虼耍褂脭?shù)據(jù)預(yù)處理技術(shù)改善數(shù)據(jù)的質(zhì)

2、量顯得尤為重要．
　　 本文首先介紹了數(shù)據(jù)預(yù)處理的相關(guān)理論知識，按照一般文獻中對數(shù)據(jù)預(yù)處理的任務(wù)劃分對數(shù)據(jù)預(yù)處理的各個部分進行了理論上的概述.
　　 其次，根據(jù)數(shù)據(jù)預(yù)處理中的基本任務(wù)結(jié)合實際應(yīng)用和研究情況將數(shù)據(jù)預(yù)處理重新分為了質(zhì)量檢查、數(shù)據(jù)清理、屬性變換、實例變換、屬性選擇和實例檢測六個部分．進而以此為架構(gòu)設(shè)計并實現(xiàn)了一套面向數(shù)據(jù)挖掘的數(shù)據(jù)預(yù)處理系統(tǒng)，該系統(tǒng)包括數(shù)據(jù)格式轉(zhuǎn)換子系統(tǒng)和預(yù)處理算法實現(xiàn)環(huán)境子系統(tǒng)兩部分：

3、　　 (1)數(shù)據(jù)格式轉(zhuǎn)換子系統(tǒng)能夠連接各種數(shù)據(jù)源，包括數(shù)據(jù)庫或者平面文件等，實現(xiàn)對數(shù)據(jù)源的統(tǒng)一瀏覽、操作以及相互間的格式轉(zhuǎn)換．
　　 (2)預(yù)處理算法實現(xiàn)環(huán)境子系統(tǒng)主要功能有數(shù)據(jù)質(zhì)量的檢查，缺損值的填充，數(shù)據(jù)的規(guī)范化，噪音數(shù)據(jù)的平滑以及重復(fù)記錄的檢測．
　　 最后，本文還對重復(fù)記錄檢測問題所涉及的屬性相似度、記錄間的比較策略和重復(fù)記錄的識別策略進行了詳細分析與深入研究，并針對記錄集合的分塊策略中的后綴數(shù)組分塊策略無法解