數(shù)據(jù)流系統(tǒng)中負(fù)載管理技術(shù)應(yīng)用研究.pdf

1、隨著計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)的不斷發(fā)展以及相關(guān)技術(shù)的進(jìn)步，信息系統(tǒng)在制造、運(yùn)輸、金融、IT等各行各業(yè)得到了廣泛應(yīng)用。待處理數(shù)據(jù)量的飛速增加，使得傳統(tǒng)數(shù)據(jù)管理技術(shù)難以適應(yīng)新形勢(shì)下的應(yīng)用需求。近年來數(shù)據(jù)流管理技術(shù)，包括數(shù)據(jù)流管理系統(tǒng)的構(gòu)建、優(yōu)化、數(shù)據(jù)流挖掘等得到了密切關(guān)注。 論文討論了數(shù)據(jù)流系統(tǒng)的基本結(jié)構(gòu)、工作原理、實(shí)現(xiàn)方法、特點(diǎn)以及其主要應(yīng)用領(lǐng)域，針對(duì)由單位時(shí)間內(nèi)輸入系統(tǒng)的數(shù)據(jù)單元數(shù)量變化引起的處理器過載問題，探討了負(fù)載管理系統(tǒng)模型的構(gòu)建

2、方法，并對(duì)負(fù)載平衡、Load-shedding、摘要生成等關(guān)鍵技術(shù)進(jìn)行了深入研究。 論文主要研究?jī)?nèi)容如下： (1) 提出了基于雙層重疊結(jié)構(gòu)的負(fù)載平衡算法。針對(duì)分布式數(shù)據(jù)流系統(tǒng)對(duì)負(fù)載平衡可擴(kuò)展性和易恢復(fù)性的需求，對(duì)負(fù)載平衡技術(shù)進(jìn)行研究，提出了一種基于雙層重疊結(jié)構(gòu)的負(fù)載平衡算法，該算法可以滿足Internet環(huán)境下緊耦合分布式數(shù)據(jù)流系統(tǒng)進(jìn)行負(fù)載平衡的需求。 (2) 提出了基于分支路徑分析的Load-shedding算

3、法。針對(duì)以聚合類查詢操作為結(jié)尾，包含多條輸入數(shù)據(jù)流，多查詢結(jié)果的連續(xù)查詢網(wǎng)絡(luò)的降載問題，對(duì)Load-shedding技術(shù)進(jìn)行研究，提出了基于分支路徑分析的Load-shedding算法。在此基礎(chǔ)上進(jìn)一步研究了該算法在輸入數(shù)據(jù)單元具有不同權(quán)重、以非聚合類查詢操作為結(jié)尾這兩種情況下的改進(jìn)推廣，擴(kuò)展了算法的適用范圍。 (3) 提出了一種有效數(shù)據(jù)識(shí)別算法。給出了分布式數(shù)據(jù)流系統(tǒng)中有效數(shù)據(jù)的概念，將單輸入數(shù)據(jù)流的數(shù)據(jù)識(shí)別技術(shù)推廣到多輸入數(shù)

4、據(jù)流環(huán)境，給出了一種有效數(shù)據(jù)識(shí)別算法，該算法較好地解決了分布式數(shù)據(jù)流應(yīng)用中的有效數(shù)據(jù)識(shí)別這一技術(shù)問題。 (4) 針對(duì)分布式數(shù)據(jù)流應(yīng)用范疇，給出了負(fù)載管理系統(tǒng)模型DDSM_LMS。通過分析負(fù)載管理系統(tǒng)的設(shè)計(jì)原則以及對(duì)現(xiàn)有負(fù)載管理系統(tǒng)結(jié)構(gòu)、功能、運(yùn)行環(huán)境的研究，論文綜合考慮多種負(fù)載管理技術(shù)，給出了負(fù)載管理系統(tǒng)模型DDSM_LMS。該模型作為課題組設(shè)計(jì)的生產(chǎn)現(xiàn)場(chǎng)管理系統(tǒng)的重要部分，在某國(guó)防基礎(chǔ)預(yù)研項(xiàng)目中得到良好應(yīng)用，提高了數(shù)據(jù)流系統(tǒng)的