數(shù)據(jù)清洗及其在寶鋼計(jì)劃值系統(tǒng)中的應(yīng)用.pdf

1、本文主要從以下四個(gè)方面對(duì)數(shù)據(jù)清洗技術(shù)及其在寶鋼計(jì)劃值系統(tǒng)中的應(yīng)用做了詳細(xì)的分析和研究?！　〉谝皇菍?duì)數(shù)據(jù)清洗技術(shù)進(jìn)行了概述，闡述了數(shù)據(jù)清洗的來源和定義，具體介紹了數(shù)據(jù)清洗時(shí)遇到的數(shù)據(jù)質(zhì)量問題以及清洗的步驟，最后詳細(xì)介紹了一種基于N-Gram的聚類算法?！　〉诙怯懻摿藢氫撚?jì)劃值系統(tǒng)項(xiàng)目需求設(shè)計(jì)及部分相關(guān)的開發(fā)設(shè)計(jì)，討論了其中的技術(shù)難點(diǎn)、關(guān)鍵技術(shù)，針對(duì)集團(tuán)內(nèi)部存在臟數(shù)據(jù)問題的特征，介紹了SAS軟件中相關(guān)功能支持的優(yōu)越性，在其數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)

2、中有專門的機(jī)制進(jìn)行引入數(shù)據(jù)的檢查、核對(duì)和將不同來源數(shù)據(jù)進(jìn)行整合的技術(shù)環(huán)節(jié)，它為計(jì)劃值系統(tǒng)中要求的數(shù)據(jù)清洗工作提供了最有力的支持?！　〉谌窃趯氫撚?jì)劃值系統(tǒng)中應(yīng)用SAS軟件先進(jìn)行了一系列簡(jiǎn)單的數(shù)據(jù)清洗工作，然后實(shí)現(xiàn)了一種基于歐氏距離的聚類算法，結(jié)果表明這種算法能夠滿足寶鋼計(jì)劃值系統(tǒng)項(xiàng)目現(xiàn)階段的基本要求，較好地解決了基礎(chǔ)數(shù)據(jù)中大量重復(fù)記錄問題?！　∽詈蟊疚母鶕?jù)目前的發(fā)展?fàn)顩r，提出了一些數(shù)據(jù)清洗技術(shù)的研究方向，數(shù)據(jù)清洗的易操作性、有效性、