分布式虛擬化計算平臺高可靠任務(wù)拆分系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的高速發(fā)展和移動通信業(yè)務(wù)的興起，用戶的數(shù)據(jù)量呈爆炸式的增長，尤其是在電信行業(yè)。新穎的電信增值業(yè)務(wù)不斷推出，電信客戶群不斷增多等都直接導(dǎo)致了電信業(yè)務(wù)量的迅速增長。此外，由于用戶對電信業(yè)務(wù)的服務(wù)在實時性、安全性和穩(wěn)定性方面有著極高的要求，所以就如何及時的處理海量數(shù)據(jù)集這一問題已成為了當(dāng)前的研究熱點。
　　國際上提出的“云計算”概念就是用以解決對海量數(shù)據(jù)集的處理問題的。目前在這方面有著較成熟應(yīng)用的主要有Google的云計算

2、應(yīng)用平臺、Amazon的彈性計算云、IBM的藍(lán)云計算平臺，但是這些技術(shù)還沒有應(yīng)用于電信行業(yè)。本文主要研究分布式計算在電信項目中的應(yīng)用。首先結(jié)合當(dāng)前國內(nèi)外的研究現(xiàn)狀和發(fā)展態(tài)勢，分析現(xiàn)有云計算的架構(gòu)，再根據(jù)自身項目的具體需求，設(shè)計出分布式虛擬化計算平臺（Distributed Virtual Computing Platform，DVCP）中的高可靠任務(wù)拆分系統(tǒng)。
　　本文的主要工作有以下幾點：
　　第一，從整體上介紹DVCP項

3、目。該項目對大規(guī)模數(shù)據(jù)集進(jìn)行實時的采集、統(tǒng)計和分析。使系統(tǒng)在滿足新興的業(yè)務(wù)服務(wù)的同時還能繼續(xù)提供傳統(tǒng)業(yè)務(wù)服務(wù)。
　　第二，任務(wù)拆分模塊的設(shè)計與實現(xiàn)。本模塊的設(shè)計基于Epoll和線程池的服務(wù)框架。采用Epoll異步事件驅(qū)動機(jī)制處理網(wǎng)絡(luò)IO請求，采用線程池模型處理磁盤IO的異步操作，提高IO效率。任務(wù)拆分采用MapReduce并行計算架構(gòu)，可以解決大數(shù)據(jù)集的分布式計算問題，采用這種方法對電信數(shù)據(jù)進(jìn)行處理能夠大大提高對數(shù)據(jù)統(tǒng)計分析的能力