基于Hadoop和Django的大數(shù)據(jù)可視化分析Web系統(tǒng).pdf

1、互聯(lián)網(wǎng)的發(fā)展讓數(shù)據(jù)量呈現(xiàn)指數(shù)增長(zhǎng)，當(dāng)今世界，人類(lèi)已經(jīng)進(jìn)入大數(shù)據(jù)的時(shí)代，如何從海量的數(shù)據(jù)里發(fā)掘有價(jià)值的信息變的至關(guān)重要。將抽象和結(jié)構(gòu)復(fù)雜的數(shù)據(jù)變成易于人類(lèi)理解的信息是數(shù)據(jù)可視化技術(shù)研究的主要內(nèi)容。數(shù)據(jù)可視化技術(shù)是大數(shù)據(jù)領(lǐng)域的研究熱點(diǎn)之一,有著巨大的研究?jī)r(jià)值和應(yīng)用價(jià)值。本文結(jié)合實(shí)際的大數(shù)據(jù)可視化項(xiàng)目，探究了如何使用開(kāi)源的Django Web框架構(gòu)建基于Hadoop計(jì)算平臺(tái)的大數(shù)據(jù)可視化分析Web系統(tǒng)，詳細(xì)介紹了系統(tǒng)的設(shè)計(jì)方案，并分模塊介紹了

2、設(shè)計(jì)內(nèi)容。針對(duì)系統(tǒng)內(nèi)測(cè)階段暴露出的問(wèn)題，從多個(gè)方面進(jìn)行了優(yōu)化和改進(jìn)，包括前端性能優(yōu)化、Django應(yīng)用層優(yōu)化、PostgreSQL數(shù)據(jù)庫(kù)優(yōu)化等，總結(jié)出了大量的Web系統(tǒng)優(yōu)化經(jīng)驗(yàn),具有一定的借鑒意義。
　　項(xiàng)目中Web系統(tǒng)的數(shù)據(jù)源來(lái)自于Hadoop計(jì)算平臺(tái)。Hadoop計(jì)算平臺(tái)對(duì)成千上萬(wàn)的數(shù)據(jù)處理任務(wù)進(jìn)行調(diào)度，調(diào)度算法的好壞直接影響數(shù)據(jù)處理的效率。本文研究了Hadoop平臺(tái)作業(yè)調(diào)度算法。首先深入分析了Hadoop計(jì)算平臺(tái)三種常用的作

3、業(yè)調(diào)度算法先進(jìn)先出調(diào)度算法、公平份額調(diào)度算法、計(jì)算能力調(diào)度算法的算法原理和各自的優(yōu)缺點(diǎn)，隨后分析了包含“移動(dòng)計(jì)算”思想的延遲調(diào)度算法比三種常用調(diào)度算法的優(yōu)秀之處和自身的不足，在延遲調(diào)度算法的基礎(chǔ)上提出了一種考慮節(jié)點(diǎn)負(fù)載情況的改進(jìn)型延遲調(diào)度算法，給出了算法分析和仿真結(jié)果，證明改進(jìn)型延遲調(diào)度算法帶來(lái)更高的作業(yè)調(diào)度效率，具有一定的實(shí)用價(jià)值。
　　最后，對(duì)項(xiàng)目的架構(gòu)相關(guān)問(wèn)題進(jìn)行了分析，這些問(wèn)題包括前后端存在職責(zé)不清晰的現(xiàn)象，前后端代碼之間