大數(shù)據(jù)可視化模型的協(xié)同過濾算法研究及應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)、生物信息、傳感器等產(chǎn)生的數(shù)據(jù)急劇增長，數(shù)據(jù)爆炸、大數(shù)據(jù)、分布式處理成為了當(dāng)今比較流行的研究熱點(diǎn)，與此同時(shí)，分析大數(shù)據(jù)，特別是在海量數(shù)據(jù)中挖掘有價(jià)值的信息，用較好的工具展現(xiàn)出來，是大數(shù)據(jù)可視化研究領(lǐng)域的研究趨勢。然而這種大數(shù)據(jù)處理框架和可視化技術(shù)相結(jié)合的產(chǎn)品很少，在這種數(shù)據(jù)就是自然資源的信息時(shí)代，這種需求更是迫在眉睫。本文設(shè)計(jì)了一個大數(shù)據(jù)可視化模型的算法處理與應(yīng)用架構(gòu)，包括如下幾個部分，大數(shù)據(jù)可視化算法設(shè)計(jì)模型、大數(shù)據(jù)實(shí)際應(yīng)用

2、生產(chǎn)系統(tǒng)。
　　1)大數(shù)據(jù)可視化算法研發(fā)模型在本文主要從易用并行化算法設(shè)計(jì)方面體現(xiàn)，數(shù)據(jù)分析師，或者數(shù)據(jù)科學(xué)家能用這個模型設(shè)計(jì)自己的并行算法，而且還能進(jìn)行大數(shù)據(jù)分析,并將數(shù)據(jù)進(jìn)行可視化，因此本文提出的大數(shù)據(jù)可視化算法分析平臺模型，很好地解決了傳統(tǒng)只能用R進(jìn)行數(shù)據(jù)抽樣分析到用R進(jìn)行數(shù)據(jù)全量分析的問題。為了驗(yàn)證這個模型，本文對協(xié)同過濾算法進(jìn)行了改進(jìn)，本文用DAG的思想并行實(shí)現(xiàn)了協(xié)同過濾算法，通過實(shí)驗(yàn)結(jié)果分析表明，這種模型有很好的擴(kuò)展性

3、與易操作性，同時(shí)算法本身也有很好的擴(kuò)展性。
　　2)大數(shù)據(jù)實(shí)際應(yīng)用生產(chǎn)系統(tǒng)在本文主要體現(xiàn)在大數(shù)據(jù)算法集成之后的實(shí)時(shí)推薦系統(tǒng)應(yīng)用，該應(yīng)用主要用到了大數(shù)據(jù)處理和存儲架構(gòu)，比如說式文件系統(tǒng)HDFS和MapReduce、Spark等計(jì)算模型，還有實(shí)時(shí)流 Storm框架等，在這個大數(shù)據(jù)實(shí)際應(yīng)用生產(chǎn)系統(tǒng)框架中能跑多種策略，支持多個算法工程師在一個框架內(nèi)實(shí)驗(yàn)多個大數(shù)據(jù)實(shí)際應(yīng)用生產(chǎn)系統(tǒng)算法。其中包含很多大數(shù)據(jù)集成算法，比如Mahout框架中聚類、

4、分類、推薦算法，Spark中包括 Map Reduce、Streaming、Machine Learning與 Graph Processing等通用的算法庫,數(shù)據(jù)分析人員可以直接調(diào)用這些算法進(jìn)行業(yè)務(wù)分析。
　　運(yùn)用這個大數(shù)據(jù)可視化模型的算法處理與應(yīng)用架構(gòu),數(shù)據(jù)科學(xué)家就可以直接使用真實(shí)全量數(shù)據(jù)在前線進(jìn)行各種研究和算法的設(shè)計(jì)，為行業(yè)加快實(shí)時(shí)決策速度，挖掘那些長尾數(shù)據(jù)中有價(jià)值的信息，從而為社會創(chuàng)造更大的使用價(jià)值。第三章就用這個大數(shù)據(jù)可