重復(fù)記錄清洗技術(shù)及其在信息管理系統(tǒng)中的應(yīng)用.pdf

1、相似重復(fù)記錄指數(shù)據(jù)集中多條語義相同，但因格式、拼寫等異常導(dǎo)致系統(tǒng)不能正確識別的臟數(shù)據(jù)。檢測相似重復(fù)記錄就是檢測并最大限度的減少這些語義相同但表現(xiàn)形式不同的臟數(shù)據(jù)。一般地，臟數(shù)據(jù)集中相似重復(fù)的臟數(shù)據(jù)所占的比重較大。因此，檢測和消除相似重復(fù)記錄是數(shù)據(jù)清洗的重點和難點之一，也是保證數(shù)據(jù)質(zhì)量的關(guān)鍵因素，正日益受到信息系統(tǒng)研究者的關(guān)注以及企業(yè)的高度重視。
　　 本課題組已經(jīng)開發(fā)并實際運行的某省農(nóng)村飲水工程信息管理系統(tǒng)，是一個大型復(fù)雜的WE

2、B信息系統(tǒng)。在運行中發(fā)現(xiàn)系統(tǒng)存在大量的臟數(shù)據(jù)。為了解決臟數(shù)據(jù)問題，進一步提高系統(tǒng)的實用性，我們以清理系統(tǒng)臟數(shù)據(jù)、監(jiān)測與清洗重復(fù)記錄為核心目標(biāo)，在深入學(xué)習(xí)中文分詞技術(shù)、數(shù)據(jù)清洗理論、Web開發(fā)技術(shù)、數(shù)據(jù)庫理論、網(wǎng)絡(luò)通信理論和軟件建模理論的基礎(chǔ)上，基于微軟VisualStudio2008開發(fā)平臺對該系統(tǒng)進行了深入的維護性研究開發(fā)。
　　 農(nóng)村飲水工程信息管理系統(tǒng)中數(shù)據(jù)源涉及到全省上萬個村莊，采集的底層數(shù)據(jù)存在嚴(yán)重的“臟、雜、亂”現(xiàn)象

3、，從而降低了調(diào)查、統(tǒng)計、分析的精確性和可信度。在系統(tǒng)維護性研究開發(fā)過程中，作者提出了一種基于中文分詞的地址信息檢測方法，實現(xiàn)了數(shù)據(jù)中不完整及錯誤的地址信息檢測糾正功能；提出了一種基于語義樹的中文相似重復(fù)記錄清洗方法，用以消除原數(shù)據(jù)中的重復(fù)記錄集；運用控件編程實現(xiàn)了數(shù)據(jù)統(tǒng)計分析功能，提升了用戶體驗。
　　 經(jīng)過對原系統(tǒng)中新增模塊的分析、設(shè)計、編碼、測試及集成后，已消除了原系統(tǒng)中“臟、雜、亂”數(shù)據(jù)的缺陷，提高了數(shù)據(jù)質(zhì)量。目前，該系統(tǒng)