高并發(fā)下的全國零售戶信息采集和應用.pdf

1、截止目前企業(yè)面向的零售戶量已經突破900萬，隨著信息化和數據化的加深，采集零售戶數據和信息也是勢在必行的。面對900萬的用戶量，隨之引起問題的是服務器的訪問量急劇上升，數據量呈爆炸式增長。以企業(yè)目前的服務器等硬件設備已經無法滿足高并發(fā)、大數據的需求。如果只是增加多臺服務器組成服務器集群，提高硬件、軟件的性能，來解決大量用戶并發(fā)請求和大數據處理的問題，這顯然并不是很好的辦法。
　　本文通過分析和對比傳統(tǒng)的數據采集模式和企業(yè)業(yè)務類型，

2、設計了一種基于移動端的數據采集模式。并詳細的分析了該數據采集模型，為了滿足企業(yè)的要求和用戶的需求，針對新型采集模式面對的高并發(fā)、大數據處理的問題，進一步分析和研究了負載均衡調度策略，并根據基于高并發(fā)的特征和調度算法的特點，在多時間片輪詢調度機制的基礎上提出了基于任務請求預測的動態(tài)調整負載均衡算法。并通過分析多維Markov鏈和排隊論對算法進行進一步的調整和改進，經過實驗驗證，該算法較好地提高了整體系統(tǒng)的性能和負載。具體研究內容如下:

3、r>　　1)本文通過對比傳統(tǒng)數據采集方法，根據目前企業(yè)的業(yè)務類型和數據請求特征，設計了一種基于分布式策略的新型數據采集模型，該模型將APP和微信企業(yè)號作為數據采集的入口，并且組建服務器集群對高并發(fā)業(yè)務進行調度處理。使用基于Hadoop平臺的策略創(chuàng)建了數據中心，并對數據進行了分析和處理。其中對全國零售戶請求的業(yè)務類型和提交的數據性質，對該模型進行了初步優(yōu)化處理。并通過分析模型系統(tǒng)中的層次結構和技術要點，提出了在高并發(fā)環(huán)境下，如何高效地調度

4、任務請求和調整服務器節(jié)點的負載的問題，并在后文進行了分析和解決。
　　2)深入研究了基于CPU和MEM的調度算法，根據實際任務請求的特征，改進并提出了基于預測機制的負載均衡調度算法。各個服務器節(jié)點會收集其它節(jié)點的負載情況，并預測網絡請求的業(yè)務類型和到達率，動態(tài)的調整請求的分發(fā)，減少請求的等待時間，并縮短服務器的閑置時間，達到資源的有效利用，最終使系統(tǒng)的整體負載達到均衡狀態(tài)。通過實驗驗證，該算法在縮短響應時間方面具有良好的性能，并且

5、比基于CPU和MEM的調度算法性能更好。
　　3)針對基于預測機制的負載均衡算法本身存在的不足，利用排隊論的知識，對網絡服務器方面的負載進行了優(yōu)化，合理的安排任務請求的等待、處理和掛起。通過分析多維Markov的機制，對后續(xù)網絡請求的特征和聯(lián)系進行預測。通過分析多時間片輪詢策略，提出了基于預測的Markov排隊模型。經過實驗的驗證和分析，該模型較好的協(xié)調各服務器節(jié)點的負載狀況，合理的分發(fā)后續(xù)到達的網絡請求，減小響應時間。