數(shù)據(jù)挖掘中分類算法的并行化研究與應(yīng)用.pdf

1、隨著“信息爆炸”時代的來臨,數(shù)據(jù)挖掘的應(yīng)用日趨廣泛。許多商業(yè)決策者利用數(shù)據(jù)挖掘技術(shù)從海量的數(shù)據(jù)中獲取有用的信息,為以后企業(yè)更好的決策提供幫助。然而,傳統(tǒng)的數(shù)據(jù)挖掘算法在面對海量數(shù)據(jù)的時候,由于各種原因,執(zhí)行效率低下,已經(jīng)不能滿足人們?nèi)找嬖鲩L的性能需求,需要尋找更加高效的算法或者執(zhí)行策略。在銀行以及相關(guān)金融行業(yè),隨著信用卡的風(fēng)行和信貸業(yè)務(wù)的不斷拓展,業(yè)務(wù)提供者需要了解客戶的信用水平,降低業(yè)務(wù)的信用風(fēng)險,以便更好的開展相關(guān)的業(yè)務(wù)。為了解決這

2、一系列的問題,本論文選擇分類算法進行分析,從數(shù)據(jù)存儲方式和算法本身進行研究,指出它們在應(yīng)用中存在的不足,并選擇Sprint決策樹分類算法作為具體的研究對象,對其進行改進和優(yōu)化,并將改進后的算法應(yīng)用到銀行客戶信用評估系統(tǒng)中進行分類規(guī)則的挖掘,具有一定的理論基礎(chǔ)和實踐意義。論文的主要工作有:
　　(1)對幾種典型分類算法(決策樹算法,神經(jīng)網(wǎng)絡(luò),貝葉斯網(wǎng)絡(luò)以及遺傳算法)的基本理論和實現(xiàn)原理進行了深入分析研究,通過分析總結(jié)前人的研究成果,

3、給出了它們并行化的基本策略;
　　(2)分析了目前數(shù)據(jù)挖掘?qū)嵺`中的主要特征:數(shù)據(jù)存儲仍然以傳統(tǒng)的關(guān)系數(shù)據(jù)庫為主,需要處理海量數(shù)據(jù)以及挖掘主要以列操作為主。由這三個方面的特點分析得出:目前在挖掘過程中,行式存儲和傳統(tǒng)的串行算法已經(jīng)不能滿足人們對于挖掘效率的要求,需要更加高效的存儲方式和執(zhí)行策略加以代替;
　　(3)在眾多決策樹算法中,選擇Sprint算法作為具體的研究對象,指出在目前數(shù)據(jù)挖掘并行化實踐中,存在兩方面的問題:其一

4、,是數(shù)據(jù)存儲方式的不足;其二,是算法本身的局限性。通過對行存儲和云存儲模式的分析,提出將列式存儲作為挖掘過程中訓(xùn)練樣本集和屬性列表的存儲方式。同時,對 Sprint算法在劃分分裂屬性列表和非分裂屬性列表階段提出改進,減少磁盤讀寫操作的時間,并給出了改進后Sprint算法的并行化策略;
　　(4)在文章的最后,利用 Java遠程方法調(diào)用(Java RMI)機制并行的實現(xiàn)改進后的 Sprint算法,應(yīng)用在銀行客戶信用評估系統(tǒng)的分類挖掘

5、模塊中。然后,通過行式數(shù)據(jù)庫和列式數(shù)據(jù)庫性能的分析對比得出:訓(xùn)練樣本集和屬性列表以列的方式存儲能夠合理利用存儲空間,提高查詢效率。同時,在分類算法中,大部分的操作為列操作,采用列式存儲,更加有利于挖掘過程的并行化,能夠很好的解決人們目前面臨的尷尬問題。另一方面通過將改進后的算法和原始算法做對比,可以得出:改進之后的算法,減少了訪問磁盤所帶來的I/O消耗,大大的減少了建樹的時間,尤其在訓(xùn)練集巨大的時候,這種執(zhí)行效率上的優(yōu)勢就會更加明顯。因