基于粗糙集和遺傳算法的大數(shù)據(jù)集數(shù)據(jù)挖掘應(yīng)用研究.pdf

1、數(shù)據(jù)挖掘(DM)是從存放在數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)或其他信息庫(kù)中大量的不完全的有噪聲的模糊的隨機(jī)的數(shù)據(jù)中提取隱含在其中的人們事先未知、但是潛在有用的信息和知識(shí)的過(guò)程。 粗糙集理論由 Z.Pawlak提出，經(jīng)歷了20年的發(fā)展。該理論作為一種全新的數(shù)學(xué)概念，已經(jīng)在理論和應(yīng)用上取得了豐碩的成果。它不依賴(lài)于數(shù)據(jù)集之外的附加信息，是處理含有噪聲、不精確、不完整數(shù)據(jù)的有力工具，在醫(yī)療診斷、模式識(shí)別、專(zhuān)家系統(tǒng)、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等領(lǐng)域獲得廣泛應(yīng)用，是

2、進(jìn)行數(shù)據(jù)挖掘的有力工具。 遺傳算法是Holland于1975年首先提出來(lái)的一種基于自然群體遺傳演化機(jī)制的高效探索算法。它摒棄了傳統(tǒng)的搜索方式，模擬自然界生物進(jìn)化過(guò)程，采用人工進(jìn)化的方式對(duì)目標(biāo)空間進(jìn)行隨機(jī)化搜索。它將問(wèn)題域中的可能解看作是群體的一個(gè)個(gè)體或染色體，并將每一個(gè)體編碼成符號(hào)串形式，模擬達(dá)爾文的遺傳選擇和自然淘汰的生物進(jìn)化過(guò)程，對(duì)群體反復(fù)進(jìn)行基于遺傳學(xué)的操作(選擇，交叉和變異)，根據(jù)預(yù)定的目標(biāo)適應(yīng)度函數(shù)對(duì)每個(gè)個(gè)體進(jìn)行評(píng)價(jià)，

3、依據(jù)適者生存，優(yōu)勝劣汰的進(jìn)化規(guī)則，不斷得到更優(yōu)的群體。 本文應(yīng)用粗糙集理論對(duì)知識(shí)分類(lèi)的特點(diǎn)，結(jié)合遺傳算法進(jìn)化理論，對(duì)大型決策表中最優(yōu)規(guī)則提取做了深入研究，提出了一個(gè)新的數(shù)據(jù)挖掘模型。在應(yīng)用該模型的系統(tǒng)中包含有數(shù)據(jù)預(yù)處理，數(shù)據(jù)離散化，知識(shí)約簡(jiǎn)，規(guī)則提取一數(shù)據(jù)挖掘的一些基本過(guò)程。針對(duì)大數(shù)據(jù)表字段過(guò)多，信息冗余大的特點(diǎn)，本文采用粗糙集的理論方法進(jìn)行處理，在數(shù)據(jù)預(yù)處理和數(shù)據(jù)離散化的基礎(chǔ)上，對(duì)條件屬性進(jìn)行約簡(jiǎn)。屬性約簡(jiǎn)是挖掘的核心步驟，這

4、里運(yùn)用粗化算法通過(guò)判斷表的相容性進(jìn)行約簡(jiǎn)；對(duì)于數(shù)據(jù)量大的決策表僅僅屬性約簡(jiǎn)是不夠的，對(duì)大量的規(guī)則還要進(jìn)行篩選提取。使用遺傳算法進(jìn)行優(yōu)化篩選處理，通過(guò)選擇，交叉，變異后從大量的規(guī)則中得到較優(yōu)的規(guī)則集。在系統(tǒng)的構(gòu)建上，采用VC++開(kāi)發(fā)工具和SQL SERVER數(shù)據(jù)庫(kù)具體實(shí)現(xiàn)了一個(gè)基于粗糙集理論和遺傳算法為核心模塊算法的數(shù)據(jù)挖掘系統(tǒng)。最后，介紹了該模型在太原網(wǎng)通公司小靈通短信系統(tǒng)中的應(yīng)用，提取出用戶(hù)收發(fā)短信息成功與否的規(guī)則模式。通過(guò)驗(yàn)證分析，