數(shù)據(jù)清理關(guān)鍵技術(shù)及其軟件平臺(tái)的研究與應(yīng)用.pdf

1、為了更好地發(fā)揮信息化的作用,必須提高信息系統(tǒng)的數(shù)據(jù)質(zhì)量.顯見,研究信息化建設(shè)中的數(shù)據(jù)清理問題具有理論和應(yīng)用價(jià)值.針對(duì)這一課題,論文包括如下幾個(gè)方面的研究工作:論述了數(shù)據(jù)清理研究的重要性和緊迫性,分析了數(shù)據(jù)清理的研究現(xiàn)狀,指出了目前數(shù)據(jù)清理研究中所存在的問題.從數(shù)據(jù)質(zhì)量的三個(gè)重要因素出發(fā),研究了單數(shù)據(jù)源中數(shù)據(jù)清理的關(guān)鍵技術(shù),包括:相似重復(fù)記錄清理、不完整數(shù)據(jù)清理、錯(cuò)誤數(shù)據(jù)清理.對(duì)于相似重復(fù)記錄的清理,給出了一種綜合的清理方法.為了提高該方

2、法的檢測(cè)精度和檢測(cè)效率,從兩個(gè)方面對(duì)該方法的關(guān)鍵環(huán)節(jié)進(jìn)行了改進(jìn):第一個(gè)改進(jìn)是在相似重復(fù)記錄檢測(cè)中,根據(jù)具體的業(yè)務(wù)系統(tǒng),采用等級(jí)法為記錄各字段指定合適的權(quán)重,從而提高了相似重復(fù)記錄的檢測(cè)精度;第二個(gè)改進(jìn)是提出了一種提高相似重復(fù)記錄檢測(cè)效率的方法,該方法采用長(zhǎng)度過濾方法優(yōu)化相似檢測(cè)算法,避免了不必要的編輯距離計(jì)算,從而提高了相似重復(fù)記錄的檢測(cè)效率.此外,構(gòu)造了合適的實(shí)驗(yàn)環(huán)境,做了大量的檢測(cè)實(shí)驗(yàn),翔實(shí)的實(shí)驗(yàn)結(jié)果驗(yàn)證了長(zhǎng)度過濾方法的科學(xué)性及有效

3、性.對(duì)于不完整數(shù)據(jù)的清理,提出了一種清理方案,該方案首先分析數(shù)據(jù)的可用性;然后刪除不可用記錄;最后,對(duì)可用記錄通過選用合適的方法來處理該記錄的丟失值,從而完成數(shù)據(jù)源中不完整數(shù)據(jù)的清理.針對(duì)數(shù)據(jù)源中出現(xiàn)的錯(cuò)誤數(shù)據(jù),研究了如何采用孤立點(diǎn)檢測(cè)和業(yè)務(wù)規(guī)則這兩種方法來檢測(cè)這些錯(cuò)誤數(shù)據(jù),多種檢測(cè)方法大大提高了錯(cuò)誤數(shù)據(jù)清理的綜合效果.在研究了單數(shù)據(jù)源數(shù)據(jù)清理的基礎(chǔ)上,又研究了多數(shù)據(jù)源集成中的數(shù)據(jù)清理問題,主要內(nèi)容有:研究了多數(shù)據(jù)源集成中數(shù)據(jù)標(biāo)準(zhǔn)化的方

4、法;結(jié)合相似重復(fù)記錄清理的研究,給出了一種相似重復(fù)實(shí)體檢測(cè)方法,有效地解決了多數(shù)據(jù)源集成中相似重復(fù)實(shí)體的清理問題;提出了一種交互式數(shù)據(jù)遷移方法,該方法把數(shù)據(jù)遷移和數(shù)據(jù)清理緊密地結(jié)合在一起,不僅可靈活、準(zhǔn)確地完成多數(shù)據(jù)源集成中的數(shù)據(jù)遷移,還可保證數(shù)據(jù)遷移后新系統(tǒng)的數(shù)據(jù)質(zhì)量.在結(jié)構(gòu)化數(shù)據(jù)清理研究的基礎(chǔ)上,針對(duì)半結(jié)構(gòu)化數(shù)據(jù)XML在數(shù)據(jù)清理中的重要性,提出了一種有效的XML相似重復(fù)數(shù)據(jù)清理方法,并給出了一種優(yōu)化的基于樹編輯距離的XML相似檢測(cè)算

5、法,該算法能有效地檢測(cè)XML相似重復(fù)數(shù)據(jù).從而為研究XML相似重復(fù)數(shù)據(jù)清理打下了基礎(chǔ).在數(shù)據(jù)清理工具的研制上,提出了一種可擴(kuò)展的數(shù)據(jù)清理軟件平臺(tái),該軟件平臺(tái)具有開放的規(guī)則庫和算法庫,算法庫中包含多種算法,并可對(duì)其擴(kuò)展;通過在規(guī)則庫中定義清理規(guī)則以及從算法庫中選擇合適的清理算法,可使該軟件平臺(tái)適用于不同的數(shù)據(jù)源,從而使其具有較強(qiáng)的通用性和適應(yīng)性;通過多種算法的清理,提高了數(shù)據(jù)清理的綜合效果.最后,實(shí)現(xiàn)了該軟件平臺(tái)的關(guān)鍵技術(shù),并將它應(yīng)用于制