基于GEP的多數(shù)據(jù)流分類壓縮并行算法研究.pdf

1、現(xiàn)代互聯(lián)網(wǎng)、物聯(lián)網(wǎng)的廣泛應(yīng)用，產(chǎn)生了海量的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，對(duì)這些大規(guī)模數(shù)據(jù)的快速處理和有價(jià)值信息的挖掘，是大數(shù)據(jù)處理領(lǐng)域研究的熱點(diǎn)。多數(shù)據(jù)流的分類分析、關(guān)聯(lián)分析、聚類分析以及壓縮處理等內(nèi)容是大數(shù)據(jù)處理的重要研究內(nèi)容，對(duì)多數(shù)據(jù)流分類壓縮并行算法進(jìn)行研究，為大數(shù)據(jù)處理提供優(yōu)化的解決方法，具有非常重要的意義。
　　針對(duì)多數(shù)據(jù)流分類壓縮問題，我們根據(jù)基因表達(dá)式編程(GeneExpressionProgramming,GEP)能夠克服

2、遺傳算法中個(gè)體（染色體）存活率不高、收斂速度較慢，以及搜索速度較遺傳算法快2-4個(gè)數(shù)量級(jí)的特點(diǎn)，將其應(yīng)用于多數(shù)據(jù)流的分類并行算法和多數(shù)據(jù)流壓縮并行算法的研究，并將多數(shù)據(jù)流的分類與壓縮算法進(jìn)行融合，提出更優(yōu)化的基于GEP的多數(shù)據(jù)流壓縮并行算法。各種算法的仿真實(shí)驗(yàn)驗(yàn)證結(jié)果表明，我們提出的基于GEP的多數(shù)據(jù)流壓縮并行算法是多數(shù)據(jù)流等大規(guī)模數(shù)據(jù)與分布式處理的一種有效的方法。
　　本文主要工作及創(chuàng)新點(diǎn)：
　　(1)采用粒度計(jì)算模型對(duì)訓(xùn)

3、練數(shù)據(jù)建立目標(biāo)概念，通過改進(jìn)粒度劃分規(guī)則求解極小粒度空間并將相似屬性實(shí)施合并，然后將數(shù)據(jù)樣本建立GEP分類器，提出基于GEP的多數(shù)據(jù)流分類并行算法(MSA-GEP)，在多核并行模型下實(shí)現(xiàn)多數(shù)據(jù)流的分類，實(shí)驗(yàn)結(jié)果表明MSA-GEP算法比傳統(tǒng)的分類方法的精確度更高。
　　(2)對(duì)流數(shù)據(jù)實(shí)施壓縮處理的前期，在n-of-N模型基礎(chǔ)上加以改進(jìn)，形成閾值滑動(dòng)機(jī)制有效的控制數(shù)據(jù)分段，并使用直方圖技術(shù)加以優(yōu)化；然后利用GEP的函數(shù)發(fā)現(xiàn)功能對(duì)數(shù)據(jù)進(jìn)

4、行函數(shù)替代，提出基于GEP的多數(shù)據(jù)流壓縮并行算法；最后在PC與PC機(jī)群中對(duì)算法進(jìn)行對(duì)比試驗(yàn)，其中并行部分采用MPI通信機(jī)制與主從式交互模型，對(duì)數(shù)據(jù)流實(shí)現(xiàn)快速壓縮，在壓縮比方面與小波變換方法有100~135倍的提高。
　　(3)基于(1)與(2)的研究，為降低CPU讀取外存數(shù)據(jù)的代價(jià)，使用動(dòng)態(tài)記錄集轉(zhuǎn)存方式使數(shù)據(jù)由內(nèi)存(或指定位置)提供，不僅加速數(shù)據(jù)的處理進(jìn)程，也為異構(gòu)數(shù)據(jù)分類提供了保障。因此，提出一種更優(yōu)化的基于記錄集轉(zhuǎn)存的GEP