量測(cè)大集信息的無損云壓縮與倉(cāng)庫(kù)存儲(chǔ)研究.pdf

1、隨著網(wǎng)絡(luò)規(guī)模擴(kuò)容和智能設(shè)備的應(yīng)用，智能配電網(wǎng)正邁向能量與信息互動(dòng)，海量信息處理和智能調(diào)度方向發(fā)展，某些工業(yè)配電網(wǎng)量測(cè)點(diǎn)劇增、模擬量變化快，波動(dòng)幅度大等特性尤為突出，這些信息在調(diào)度監(jiān)控系統(tǒng)的顯示處理中需要不斷進(jìn)行信息存取，長(zhǎng)期運(yùn)行將產(chǎn)生大數(shù)據(jù)集信息，海量信息不僅是信息傳輸交互的障礙，也將影響到應(yīng)用信息的查詢處理，直接針對(duì)海量大數(shù)據(jù)集信息進(jìn)行存取處理，容易使信息延遲、存取速度慢，不僅影響系統(tǒng)實(shí)時(shí)性，嚴(yán)重時(shí)甚至造成關(guān)鍵信息的遲報(bào)或漏報(bào)，導(dǎo)致報(bào)

2、警延遲或消失，直接威脅安全調(diào)度和實(shí)時(shí)控制。量測(cè)大集信息的有效處理已成為配電網(wǎng)自動(dòng)化的關(guān)鍵技術(shù)問題之一。所以需要對(duì)大數(shù)據(jù)集信息研究有效的存儲(chǔ)和壓縮處理技術(shù)。本課題針對(duì)鐵道電網(wǎng)調(diào)度海量信息流的實(shí)時(shí)存儲(chǔ)和壓縮處理進(jìn)行研究，采用新的Hadoop云計(jì)算及Hive數(shù)據(jù)倉(cāng)庫(kù)框架技術(shù)對(duì)海量信息進(jìn)行分布式云存取和集群壓縮處理，解決電力調(diào)度信息流存儲(chǔ)困難問題，旨在確保調(diào)度安全和供電可靠性。
　　本課題針對(duì)智能調(diào)度系統(tǒng)中的大數(shù)據(jù)集信息壓縮處理問題，利用

3、Hadoop框架和Map/Reduce分布式編程模型，進(jìn)一步結(jié)合數(shù)據(jù)倉(cāng)庫(kù)Hive框架技術(shù)，提出了一種基于云架構(gòu)的分布式集群無損壓縮新方法。首先利用公共信息的關(guān)聯(lián)關(guān)系，建立調(diào)度監(jiān)控的公共信息對(duì)象實(shí)體及其關(guān)鍵數(shù)據(jù)業(yè)務(wù)信息流，解決海量關(guān)鍵數(shù)據(jù)業(yè)務(wù)信息集成問題；然后研究和比較目前四種主流無損壓縮算法差異性，利用云計(jì)算節(jié)點(diǎn)的網(wǎng)絡(luò)配置方式部署調(diào)度主機(jī)和監(jiān)控服務(wù)器的集群環(huán)境，在集群數(shù)據(jù)節(jié)點(diǎn)中融入無損壓縮格式，建立調(diào)度監(jiān)控信息的集群無損壓縮實(shí)驗(yàn)環(huán)境。將

4、Deflate、GZip、BZip2和Lzo四類無損壓縮編碼融入Map/Reduce云計(jì)算任務(wù)，利用調(diào)度端的斷面量測(cè)記錄集進(jìn)行測(cè)試研究。
　　以調(diào)度監(jiān)控系統(tǒng)中的量測(cè)值存取為例進(jìn)行研究，結(jié)果表明：針對(duì)四種無損壓縮格式，在斷面記錄超過3百萬以上時(shí)，BZip2集群壓縮效果更好，可達(dá)到約81.1％，通過逐步增加斷面記錄數(shù)，利用Hive數(shù)據(jù)倉(cāng)庫(kù)，使壓縮比進(jìn)一步達(dá)到約85%，因此，分布?jí)嚎s方法適合在監(jiān)控歷史信息壓縮處理中應(yīng)用。相比而言，Lzo