基于貝葉斯網(wǎng)絡(luò)的大數(shù)據(jù)因果關(guān)系挖掘.pdf

1、2010年，全球的數(shù)據(jù)量跨入了ZB時(shí)代，根據(jù)IDC預(yù)測(cè)，至2020年全球?qū)碛谐^(guò)35ZB的數(shù)據(jù)量，海量數(shù)據(jù)將直接或者間接的影響我們的日常工作、生活，乃至國(guó)家經(jīng)濟(jì)以及社會(huì)的發(fā)展。大數(shù)據(jù)時(shí)代已經(jīng)到來(lái)。隨著大數(shù)據(jù)的快速發(fā)展，以概率統(tǒng)計(jì)為基礎(chǔ)的機(jī)器學(xué)習(xí)在近年來(lái)受到工業(yè)界和學(xué)術(shù)界的極大關(guān)注，并在互聯(lián)網(wǎng)、金融、自然語(yǔ)言、生物等領(lǐng)域獲得很多重要的應(yīng)用，其中貝葉斯網(wǎng)絡(luò)在過(guò)去多年也得到了快速發(fā)展，并且成為非常重要的一類機(jī)器學(xué)習(xí)方法。
　　貝葉斯網(wǎng)

2、絡(luò)是描述隨機(jī)變量之間因果關(guān)系圖的模型，是概率理論、因果推理與圖形理論的結(jié)合，也是傳統(tǒng)的基于數(shù)據(jù)的統(tǒng)計(jì)方法和強(qiáng)調(diào)知識(shí)的人工智能方法的統(tǒng)一，其重要應(yīng)用之一是隨機(jī)變量之間的因果知識(shí)表示和推理。貝葉斯網(wǎng)絡(luò)由結(jié)構(gòu)和參數(shù)兩部分構(gòu)成，分別用于定性與定量描述變量之間的因果關(guān)系，它具有多功能性、有效性和開(kāi)放性等特征，能夠有效的將數(shù)據(jù)轉(zhuǎn)化成知識(shí)，然后利用這些轉(zhuǎn)化后的知識(shí)進(jìn)行推理，來(lái)解決現(xiàn)實(shí)世界中的不確定性方面的問(wèn)題，其有效性已在金融風(fēng)險(xiǎn)分析、信息安全、DN

3、A分析、軟件智能化、醫(yī)療診斷、系統(tǒng)分析和控制等許多領(lǐng)域得到驗(yàn)證。
　　目前，對(duì)于非時(shí)序的常規(guī)數(shù)據(jù)，通常采用貝葉斯網(wǎng)絡(luò)來(lái)挖掘其中的因果關(guān)系；而時(shí)序的常規(guī)的單時(shí)間序列一般采用格蘭杰方法來(lái)挖掘其中特定的因果關(guān)系，但是這種方法存在諸多問(wèn)題。隨著大數(shù)據(jù)時(shí)代的來(lái)臨，大數(shù)據(jù)技術(shù)為我們分析問(wèn)題和解決問(wèn)題提供了新的思路和方法。與常規(guī)數(shù)據(jù)集相比，在大數(shù)據(jù)環(huán)境下進(jìn)行數(shù)據(jù)挖掘?qū)⒌玫礁喔娴男畔?。未?lái)從大數(shù)據(jù)中發(fā)現(xiàn)因果關(guān)系以及在常規(guī)數(shù)據(jù)中挖掘一般因果關(guān)

4、系將是一種趨勢(shì)。
　　為了改善傳統(tǒng)格蘭杰模型在時(shí)間序列因果關(guān)系挖掘中出現(xiàn)的弊端，改進(jìn)并完善因果關(guān)系挖掘模型，本文提出了在大數(shù)據(jù)環(huán)境下使用二階貝葉斯網(wǎng)絡(luò)模型進(jìn)行因果關(guān)系挖掘。該模型采用最小描述長(zhǎng)度（MDL）原理來(lái)進(jìn)行打分。通過(guò)對(duì)期貨樣本數(shù)據(jù)分析，并對(duì)原始時(shí)間序列進(jìn)行離散化、屬性約簡(jiǎn)、重構(gòu)等處理后進(jìn)行二階貝葉斯網(wǎng)絡(luò)模型訓(xùn)練，不僅可以挖掘節(jié)點(diǎn)與節(jié)點(diǎn)之間的因果關(guān)系而且可以發(fā)現(xiàn)因果關(guān)系之間的聯(lián)系。
　　本文的主要工作和主要研究成果如下