基于存儲(chǔ)測(cè)試的大容量數(shù)據(jù)處理技術(shù)研究.pdf

1、在存儲(chǔ)測(cè)試領(lǐng)域中，為了獲得更高的數(shù)據(jù)測(cè)量精度，數(shù)據(jù)采集與存儲(chǔ)系統(tǒng)的數(shù)據(jù)采集時(shí)間越來越長(zhǎng)、數(shù)據(jù)采樣率越來越大，因而采集存儲(chǔ)的數(shù)據(jù)容量也越來越大，有的數(shù)據(jù)容量甚至達(dá)到幾百個(gè)G，采集存儲(chǔ)的數(shù)據(jù)文件里的通道數(shù)目也越來越多，有的通道數(shù)目甚至達(dá)到幾千個(gè)，采集存儲(chǔ)的數(shù)據(jù)文件的數(shù)目也越來越多，有的數(shù)據(jù)文件的數(shù)目甚至達(dá)到幾千個(gè)。傳統(tǒng)的數(shù)據(jù)處理技術(shù)已經(jīng)不能滿足對(duì)大容量數(shù)據(jù)的處理要求，所以對(duì)大容量數(shù)據(jù)處理技術(shù)的研究變的至關(guān)重要，它是研發(fā)能針對(duì)大容量數(shù)據(jù)進(jìn)行處

2、理的數(shù)據(jù)處理軟件的前提條件。
　　本文首先對(duì)多個(gè)存儲(chǔ)測(cè)試系統(tǒng)進(jìn)行分析，得出存儲(chǔ)測(cè)試領(lǐng)域中數(shù)據(jù)處理軟件的常規(guī)功能，然后對(duì)這些常規(guī)功能涉及到的大容量數(shù)據(jù)處理難題進(jìn)行技術(shù)方法研究，也是本文的研究重點(diǎn):用內(nèi)存映射文件技術(shù)代替分塊讀取數(shù)據(jù)技術(shù)讀取大容量數(shù)據(jù)，以提高大容量數(shù)據(jù)的讀取效率;對(duì)數(shù)據(jù)可視化的等距抽點(diǎn)算法進(jìn)行改進(jìn)，提出了塊內(nèi)數(shù)據(jù)分析算法，以精確捕獲瞬態(tài)數(shù)據(jù)和優(yōu)化數(shù)據(jù)顯示;用文件索引定位方法代替遍歷文件名稱方法查找目標(biāo)數(shù)據(jù)文件，以提高目

3、標(biāo)數(shù)據(jù)文件的查找效率;用基于Windows API函數(shù)的多線程技術(shù)代替基于MSComm控件的中斷服務(wù)方式進(jìn)行大容量數(shù)據(jù)的采樣讀數(shù)，既解決了大容量數(shù)據(jù)采樣讀數(shù)過程中數(shù)據(jù)丟失的問題，又提高了系統(tǒng)效率;用粗糙懲罰算法代替五點(diǎn)三次平滑算法對(duì)大容量數(shù)據(jù)進(jìn)行平滑，改善了大容量數(shù)據(jù)的平滑效果。
　　最后，采用LabVIEW編程語(yǔ)言作為軟件的開發(fā)平臺(tái)，從軟件工程的角度出發(fā)，將大容量數(shù)據(jù)處理技術(shù)應(yīng)用到車輛測(cè)試軟件的研發(fā)中。采用“白盒測(cè)試”和“黑盒測(cè)