不確定數(shù)據(jù)流的分布并行Skyline查詢處理技術(shù)研究.pdf

1、近年來(lái)，隨著信息技術(shù)的不斷發(fā)展，不確定數(shù)據(jù)流廣泛存在于諸如傳感器網(wǎng)絡(luò)、基于位置的服務(wù)和RFID網(wǎng)絡(luò)等現(xiàn)實(shí)應(yīng)用中。對(duì)不確定數(shù)據(jù)流進(jìn)行高效查詢處理已成為當(dāng)前大數(shù)據(jù)處理的一個(gè)重要方面。不確定數(shù)據(jù)流的Skyline查詢?cè)跀?shù)據(jù)挖掘、決策制定和環(huán)境監(jiān)控等眾多應(yīng)用中發(fā)揮著重要作用，已成為數(shù)據(jù)庫(kù)領(lǐng)域的一個(gè)研究熱點(diǎn)。然而，已有的研究主要采用集中的Skyline查詢處理方式，當(dāng)用戶對(duì)查詢響應(yīng)速度要求較高或滑動(dòng)的窗口規(guī)模較大時(shí)，基于單機(jī)環(huán)境進(jìn)行集中處理的查詢

2、效率受到計(jì)算能力的限制，難以滿足查詢的實(shí)時(shí)性需求。當(dāng)前諸如數(shù)據(jù)中心等分布式計(jì)算環(huán)境的興起和廣泛運(yùn)用，為實(shí)現(xiàn)不確定數(shù)據(jù)流的分布并行Skyline查詢處理提供了有利條件。對(duì)于高速到達(dá)的不確定數(shù)據(jù)流上的Skyline查詢，當(dāng)前研究的挑戰(zhàn)在于如何充分利用分布式計(jì)算環(huán)境實(shí)現(xiàn)并行查詢處理，以提高查詢處理的效率。本文圍繞上述研究挑戰(zhàn)，針對(duì)不確定數(shù)據(jù)流開(kāi)展了分布并行Skyline查詢技術(shù)的研究工作。
　　首先，針對(duì)已有基于單機(jī)環(huán)境的集中式查詢處理

3、方法因計(jì)算能力不足而難以滿足當(dāng)前用戶查詢需求的問(wèn)題，提出了一種針對(duì)不確定數(shù)據(jù)流的分布并行 Skyline查詢處理的兩級(jí)并行查詢模型 TPM。相比已有的集中式并行查詢模型 CPM，在TPM模型中，并行節(jié)點(diǎn)只需要維護(hù)局部滑動(dòng)窗口，相同階段的各并行節(jié)點(diǎn)間不需要通信同步中間結(jié)果。實(shí)驗(yàn)結(jié)果表明，基于TPM模型對(duì)不確定數(shù)據(jù)流進(jìn)行分布并行Skyline查詢處理的方式在不同滑動(dòng)窗口規(guī)模、數(shù)據(jù)維度和并行節(jié)點(diǎn)數(shù)目的條件下，查詢響應(yīng)時(shí)間均優(yōu)于基于CPM模型的

4、查詢處理方法，能夠滿足不確定數(shù)據(jù)流并行Skyline查詢的需求。
　　其次，針對(duì)已有的不確定數(shù)據(jù)流Skyline查詢方法難以滿足高吞吐率數(shù)據(jù)流環(huán)境如軍事作戰(zhàn)指揮、自然災(zāi)害監(jiān)控等對(duì)查詢響應(yīng)速度的極高要求，提出了一種基于網(wǎng)格概率記錄的Skyline查詢處理方法，減少支配關(guān)系測(cè)試階段內(nèi)各并行節(jié)點(diǎn)中支配關(guān)系測(cè)試次數(shù)和局部Skyline概率計(jì)算過(guò)程中的重復(fù)計(jì)算。實(shí)驗(yàn)結(jié)果表明，基于網(wǎng)格概率記錄的Skyline查詢處理方法能夠有效提高不確定數(shù)據(jù)

5、流的分布并行Skyline查詢的處理效率，滿足高速的查詢處理需求。
　　最后，針對(duì)現(xiàn)實(shí)應(yīng)用中用戶需求和Skyline查詢處理結(jié)果契合度不足的問(wèn)題，對(duì)不確定數(shù)據(jù)流的Skyline擴(kuò)展查詢進(jìn)行研究，設(shè)計(jì)了不確定數(shù)據(jù)流的Skyline枚舉查詢(Enumerating Query)，研究提出了一種基于支配關(guān)系圖的Skyline枚舉查詢處理方法。支配關(guān)系圖能夠記錄并行節(jié)點(diǎn)內(nèi)數(shù)據(jù)間完全的支配關(guān)系，并實(shí)現(xiàn)對(duì)待考察元組在支配關(guān)系圖中的快速定位，從