基于粗糙集理論的數(shù)據(jù)預處理研究.pdf

1、隨著數(shù)據(jù)庫技術的成熟，數(shù)據(jù)應用的普及，以及互聯(lián)網(wǎng)的高速發(fā)展，人類積累的數(shù)據(jù)量正在以指數(shù)級速度迅速增長。傳統(tǒng)的數(shù)據(jù)分析和查詢方法己不能滿足人們對隱藏在數(shù)據(jù)背后的知識的迫切需要，在這種社會需求的強勁推動下，知識發(fā)現(xiàn)和數(shù)據(jù)挖掘應運而生，而粗糙集理論作為一門新的數(shù)學工具，憑借它不需要附加任何外界信息或先驗知識這一特點，突破了其它數(shù)據(jù)分析工具的局限，避免了人的主觀因素對數(shù)據(jù)挖掘結果的影響，逐漸成為了研究知識發(fā)現(xiàn)的重要的數(shù)學工具之一。 由于

2、數(shù)據(jù)預處理是KDD處理步驟中非常重要的一環(huán)，其結果將直接影響到KDD的效率、準確度以及最終模式的有效性。而經(jīng)典的粗糙集理論不能處理原始數(shù)據(jù)資料中的遺漏信息以及值域為實數(shù)的數(shù)據(jù)，需要經(jīng)過數(shù)據(jù)預處理，包括數(shù)據(jù)補齊和離散化處理后才能進行知識獲取，因此如何有效地進行數(shù)據(jù)預處理具有非常重要的現(xiàn)實意義。 本文主要圍繞基于粗糙集的數(shù)據(jù)預處理中數(shù)據(jù)補齊和連續(xù)屬性離散化展開討論。 首先，綜述了粗糙集理論的研究現(xiàn)狀，分析和歸納了與數(shù)據(jù)不完備

3、性相關的重要問題以及處理缺失值的各種方法；在此基礎上，分析了當前主要的數(shù)據(jù)補齊算法的特點和不足，指出了數(shù)據(jù)補齊的原則和目標，并針對己有的基于粗糙集不完備信息系統(tǒng)補齊算法的缺陷，提出了基于量化相似關系模型，以使更多的缺損數(shù)據(jù)得到科學的填補，盡量避免因采用其它方法可能導致的決策規(guī)則矛盾的問題。 然后，對目前流行的離散化算法進行了詳細的分析和評價，指出了離散化的方向和目標，并提出了基于粗糙信息熵的離散化算法，以便在保證劃分后決策表相容