【資料下載】海量comtrade數(shù)據(jù)并行解析算法

1、海量COMTRADE數(shù)據(jù)并行解析算法桂勛1姚蘭2錢清泉3(1.電子科技大學(xué)空天科學(xué)技術(shù)研究院四川省成都市6100542.成都信息工程學(xué)院控制工程系四川省成都市6102253.西南交通大學(xué)電氣工程學(xué)院自動化研究所四川省成都市610031)摘要:針對電力系統(tǒng)暫態(tài)監(jiān)測數(shù)據(jù)向海量化發(fā)展的趨勢以及對各種串行編程分析軟件造成的計算壓力研究了一種基于多核的、采用流水線設(shè)計思想的海量電力系統(tǒng)暫態(tài)數(shù)據(jù)交換通用格式(COMTRADE)數(shù)據(jù)文件并行解析算法。

2、在面向二進(jìn)制格式的并行解析算法中采用了2階段的流水線步驟:第1階段為文件讀取第2階段為多線程解析。在面向美國標(biāo)準(zhǔn)信息交換碼(II)格式的并行解析算法中采用了3階段的流水線步驟:前2個階段與二進(jìn)制格式的并行解析算法一樣第3階段為塊邊緣解析打破了傳統(tǒng)的串行文本解析算法。算法通過有效利用以往被忽視的數(shù)據(jù)文件中的序號信息大幅提升了并行解析的并行度。試驗證明此算法可獲得相當(dāng)高的加速比并且可隨著CPU核數(shù)的增加和COMTRADE數(shù)據(jù)文件的加大獲得線

3、性加速比。關(guān)鍵詞:海量數(shù)據(jù)暫態(tài)數(shù)據(jù)交換通用格式(COMTRADE)多核流水線并行解析電力系統(tǒng)中圖分類號:TM734收稿日期:20081209修回日期:20090423。0引言近年來隨著電子技術(shù)的快速發(fā)展電力系統(tǒng)暫態(tài)錄波明顯向高采樣率、連續(xù)穩(wěn)態(tài)記錄和海量存儲的趨勢發(fā)展[1]。其中為了提高海量故障錄波數(shù)據(jù)的傳輸效率和降低存儲空間眾多文獻(xiàn)提出了各種各樣的數(shù)據(jù)壓縮算法[23]但是隨著電力通信網(wǎng)絡(luò)的改善百兆、千兆以太網(wǎng)大規(guī)模安裝通信效率已經(jīng)不再是

4、難以克服的瓶頸因此目前眾多廠家已經(jīng)開始放棄了原有復(fù)雜的壓縮方案而直接在高速以太網(wǎng)上傳輸錄波數(shù)據(jù)。目前這種錄波數(shù)據(jù)海量化趨勢已經(jīng)給各種基于串行編程方式設(shè)計的分析軟件[47]增加了不小的計算壓力其中最明顯的就是海量錄波記錄文件解析時間過長而導(dǎo)致的軟件效率低下。而在計算機硬件技術(shù)發(fā)展方面目前已經(jīng)進(jìn)入多核計算時代原來傳統(tǒng)的面向單核的串行編程技術(shù)被完全顛覆逐漸被基于多線程模式的并行編程技術(shù)所取代[8]。針對這2個方面的發(fā)展趨勢本文研究并實現(xiàn)了海量

5、電力系統(tǒng)暫態(tài)數(shù)據(jù)交換通用格式(COMTRADE)數(shù)據(jù)文件的并行解析算法。算法可極大地提高面向海量故障錄波數(shù)據(jù)、海量廣域測量數(shù)據(jù)和海量電能質(zhì)量錄波數(shù)據(jù)的軟件處理效率并可隨著未來CPU核數(shù)的增加和COMTRADE數(shù)據(jù)文件的加大獲得線性加速比[8]。1COMTRADE標(biāo)準(zhǔn)為規(guī)范不同廠家的電力數(shù)字記錄設(shè)備進(jìn)行系統(tǒng)故障錄波與暫態(tài)仿真的存儲格式便于第三方的處理和分析IEEE在1991年制定了COMTRADE標(biāo)準(zhǔn)(IEEEStdC37.111—199

6、1)[9]。最新修訂的1999標(biāo)準(zhǔn)(IEEEStdC37.111—1999)規(guī)定與記錄信息相關(guān)的文件有4個:頭標(biāo)文件、配置文件、數(shù)據(jù)文件和信息文件。其中對于第三方暫態(tài)數(shù)據(jù)分析軟件而言最重要的是配置文件和數(shù)據(jù)文件其他文件是可選的。數(shù)據(jù)文件記錄著每個采樣通道中的每個采樣數(shù)值。數(shù)據(jù)文件可以是美國標(biāo)準(zhǔn)信息交換碼(II)格式或二進(jìn)制格式。二進(jìn)制數(shù)據(jù)文件與II數(shù)據(jù)文件格式類似每一行應(yīng)分為“TT2”列其中TT代表配置文件中模擬量通道和狀態(tài)量通道的總和

7、另外2個是采樣序號和時間標(biāo)記。二進(jìn)制文件以比特形式集中存放狀態(tài)量通道數(shù)據(jù)各個數(shù)據(jù)之間沒有分隔符每組采樣值之間沒有回車換行符隔開。各列的具體內(nèi)容如下所示:第1列為采樣序號第2列為采樣數(shù)據(jù)的時間標(biāo)記第3組的列為表示模擬量通道信息的采樣數(shù)據(jù)值第4組的列為表示狀態(tài)量通道信息的采樣數(shù)據(jù)值。2并行解析算法設(shè)計2.1二進(jìn)制數(shù)據(jù)文件并行解析算法二進(jìn)制數(shù)據(jù)文件的并行解析算法原理如圖1所示。—62—第33卷第15期2009年8月10日Vol.33No.15

8、Aug.102009while(1)等待事件通知退出線程BLOCKBINARY＊pCB=popfront(線程ID號)f(inti=0iEv邊緣數(shù)據(jù)向量2.2.2并行解析算法的詳細(xì)步驟II數(shù)據(jù)文件的并行解析算法具體步驟如下(步驟1～步驟3與二進(jìn)制數(shù)據(jù)文件算法所對應(yīng)的步驟內(nèi)容類似此處就不贅述):步驟4:通過數(shù)據(jù)文件大小和每次讀取的NBlockSize計算出讀取線程的最終讀取次數(shù)M并將邊緣數(shù)據(jù)向量Ev的大小設(shè)置為2M。步驟5:啟動讀取數(shù)據(jù)線