數(shù)據(jù)清洗算法的研究與應(yīng)用.pdf

1、 隨著信息技術(shù)的飛速發(fā)展，組織的管理人員進(jìn)行決策分析時(shí)對數(shù)據(jù)的依賴性越來越強(qiáng)。于是在數(shù)據(jù)庫的基礎(chǔ)上產(chǎn)生了能夠滿足決策分析所需要的數(shù)據(jù)環(huán)境—數(shù)據(jù)倉庫。但是在構(gòu)建數(shù)據(jù)倉庫的過程中，從異構(gòu)的數(shù)據(jù)源中導(dǎo)入的數(shù)據(jù)中存在各種質(zhì)量問題，使得應(yīng)用于數(shù)據(jù)倉庫前端的決策支持系統(tǒng)產(chǎn)生錯(cuò)誤的分析結(jié)果，影響信息服務(wù)的質(zhì)量。所以必須對其進(jìn)行數(shù)據(jù)清洗來提高其質(zhì)量。數(shù)據(jù)清洗正在成為數(shù)據(jù)倉庫和數(shù)據(jù)挖掘領(lǐng)域，乃至網(wǎng)絡(luò)數(shù)據(jù)處理的一個(gè)重要課題。 本文首先對數(shù)

2、據(jù)清洗的知識進(jìn)行了全面和詳細(xì)的描述，介紹了數(shù)據(jù)清洗的概念、意義和國內(nèi)外研究與應(yīng)用的現(xiàn)狀。對數(shù)據(jù)清洗技術(shù)的原理、方法、評價(jià)標(biāo)準(zhǔn)以及基本流程進(jìn)行了分析和總結(jié)。其中重點(diǎn)對屬性清洗及重復(fù)記錄清洗所用到的技術(shù)和各種算法進(jìn)行了深入的研究，并提出了相應(yīng)的改進(jìn)算法。在屬性清洗中，簡單介紹了屬性清洗的基本知識和方法，重點(diǎn)研究了如何應(yīng)用統(tǒng)計(jì)分析和人工智能的技術(shù)自動(dòng)檢測數(shù)據(jù)集中屬性值的錯(cuò)誤，并給出了在數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果及結(jié)論。在重復(fù)記錄清洗中，首先介紹了重復(fù)