基于貝葉斯網絡的大數據因果關系挖掘.pdf

1、2010年，全球的數據量跨入了ZB時代，根據IDC預測，至2020年全球將擁有超過35ZB的數據量，海量數據將直接或者間接的影響我們的日常工作、生活，乃至國家經濟以及社會的發(fā)展。大數據時代已經到來。隨著大數據的快速發(fā)展，以概率統(tǒng)計為基礎的機器學習在近年來受到工業(yè)界和學術界的極大關注，并在互聯網、金融、自然語言、生物等領域獲得很多重要的應用，其中貝葉斯網絡在過去多年也得到了快速發(fā)展，并且成為非常重要的一類機器學習方法。
　　貝葉斯網

2、絡是描述隨機變量之間因果關系圖的模型，是概率理論、因果推理與圖形理論的結合，也是傳統(tǒng)的基于數據的統(tǒng)計方法和強調知識的人工智能方法的統(tǒng)一，其重要應用之一是隨機變量之間的因果知識表示和推理。貝葉斯網絡由結構和參數兩部分構成，分別用于定性與定量描述變量之間的因果關系，它具有多功能性、有效性和開放性等特征，能夠有效的將數據轉化成知識，然后利用這些轉化后的知識進行推理，來解決現實世界中的不確定性方面的問題，其有效性已在金融風險分析、信息安全、DN

3、A分析、軟件智能化、醫(yī)療診斷、系統(tǒng)分析和控制等許多領域得到驗證。
　　目前，對于非時序的常規(guī)數據，通常采用貝葉斯網絡來挖掘其中的因果關系；而時序的常規(guī)的單時間序列一般采用格蘭杰方法來挖掘其中特定的因果關系，但是這種方法存在諸多問題。隨著大數據時代的來臨，大數據技術為我們分析問題和解決問題提供了新的思路和方法。與常規(guī)數據集相比，在大數據環(huán)境下進行數據挖掘將得到更多更全面的信息。未來從大數據中發(fā)現因果關系以及在常規(guī)數據中挖掘一般因果關

4、系將是一種趨勢。
　　為了改善傳統(tǒng)格蘭杰模型在時間序列因果關系挖掘中出現的弊端，改進并完善因果關系挖掘模型，本文提出了在大數據環(huán)境下使用二階貝葉斯網絡模型進行因果關系挖掘。該模型采用最小描述長度（MDL）原理來進行打分。通過對期貨樣本數據分析，并對原始時間序列進行離散化、屬性約簡、重構等處理后進行二階貝葉斯網絡模型訓練，不僅可以挖掘節(jié)點與節(jié)點之間的因果關系而且可以發(fā)現因果關系之間的聯系。
　　本文的主要工作和主要研究成果如下