流數(shù)據(jù)降載機制研究.pdf

1、信息技術(shù)的發(fā)展促進了很多新型應用的出現(xiàn),這些應用包括網(wǎng)絡監(jiān)控、通信服務、傳感網(wǎng)絡等應用。它們需要對海量的數(shù)據(jù)進行實時處理,及時的將結(jié)果反饋給用戶。這些應用產(chǎn)生數(shù)據(jù)流時的速率經(jīng)常呈現(xiàn)突發(fā)性和波動性。當數(shù)據(jù)流的輸入速度超過系統(tǒng)的處理速度時,系統(tǒng)將不能有效地處理所有的數(shù)據(jù),也即系統(tǒng)此時過載。此時必須采用相應的降載措施,保證系統(tǒng)具有自適應能力,從而改善系統(tǒng)的整體的服務性能。
　　 首先,降載時機的選擇是降載機制的重點之一。本文通過研究,

2、發(fā)現(xiàn)現(xiàn)有的降載機制在降載時機的確定上存在欠缺之處。故而本文綜合考慮了以延遲時間和系統(tǒng)的處理能力做為降載的標準,提出一種基于延遲時間的降載策略。對于實時性要求高的應用,此策略可以有效地降低數(shù)據(jù)處理過程中所產(chǎn)生的延遲時間。
　　 其次,為了有效地提高流數(shù)據(jù)處理的效率,同時,降低系統(tǒng)對后續(xù)查詢所造成的精度損失,本文考慮了一種基于聚類的數(shù)據(jù)摘要技術(shù),使得系統(tǒng)在克服過載的同時,最小化原始結(jié)果與降載結(jié)果之間的差,保證了查詢的精度。
　

3、　 再次,傳統(tǒng)的串行處理受制于單處理器的最大物理處理速度,而利用并行所提供的硬件支持可以再一定程度上克服這種速度瓶頸。為了有效地提高算法處理的效率與速度,本文考慮了并行環(huán)境下算法的實施問題。
　　 最后,為了驗證降載機制在實際應用場景下的表現(xiàn),本文將整個機制運用于一個實際的在線事務日志處理,利用實際的事例來檢驗降載機制的有效性和實用性。
　　 綜上所述,本文對數(shù)據(jù)流降載機制的主要技術(shù),包括數(shù)據(jù)丟棄技術(shù)(Load She