P2P環(huán)境下排序查詢(xún)處理和分類(lèi)技術(shù)的研究.pdf

1、隨著計(jì)算機(jī)技術(shù)、網(wǎng)絡(luò)技術(shù)和數(shù)據(jù)庫(kù)技術(shù)的快速發(fā)展，如何存儲(chǔ)和管理在網(wǎng)絡(luò)中的海量數(shù)據(jù)是計(jì)算機(jī)領(lǐng)域的一個(gè)重要問(wèn)題。P2P模型是一種新型的體系結(jié)構(gòu)模型，其中的每個(gè)成員都可分享數(shù)據(jù)、存儲(chǔ)以及計(jì)算資源。在數(shù)據(jù)管理、搜索引擎、數(shù)據(jù)流管理、語(yǔ)義網(wǎng)等領(lǐng)域具有廣闊的應(yīng)用前景。近年來(lái)，P2P數(shù)據(jù)管理技術(shù)已成為當(dāng)前數(shù)據(jù)庫(kù)領(lǐng)域研究的熱點(diǎn)，而不確定數(shù)據(jù)查詢(xún)處理技術(shù)以及數(shù)據(jù)挖掘技術(shù)更是目前P2P數(shù)據(jù)管理技術(shù)的核心問(wèn)題?，F(xiàn)有的相關(guān)處理技術(shù)主要采用集中式處理方式，無(wú)法適

2、應(yīng)P2P網(wǎng)絡(luò)等分布式環(huán)境，為此本文緊緊圍繞P2P環(huán)境下不確定數(shù)據(jù)查詢(xún)處理技術(shù)以及數(shù)據(jù)挖掘相關(guān)技術(shù)問(wèn)題展開(kāi)深入研究。
　　本文從P2P網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)出發(fā)，提出一些P2P環(huán)境下不確定數(shù)據(jù)相關(guān)查詢(xún)的解決方法。此外，本文針對(duì)P2P環(huán)境下數(shù)據(jù)的分類(lèi)問(wèn)題進(jìn)行了研究，并提出了基于已知分類(lèi)器(OS-ELM)的分類(lèi)算法。具體研究工作如下:
　　針對(duì)“結(jié)構(gòu)化P2P網(wǎng)絡(luò)下不確定數(shù)據(jù)的top-k查詢(xún)”:
　　本文首先給出了在不確定數(shù)據(jù)集上的t

3、op-k查詢(xún)的定義;然后，以chord拓?fù)錇槔U述了在P2P環(huán)境中對(duì)不確定數(shù)據(jù)的top-k查詢(xún)處理算法，并且在保序散列的基礎(chǔ)上提出了基于upper-bound的剪枝策略及逐步合并的剪枝策略;最后，通過(guò)大量的實(shí)驗(yàn)來(lái)驗(yàn)證了本文所提出算法的性能。
　　針對(duì)“非結(jié)構(gòu)化P2P網(wǎng)絡(luò)下基于索引的不確定數(shù)據(jù)查詢(xún)”:
　　本文對(duì)在P2P網(wǎng)絡(luò)的不確定數(shù)據(jù)的top-k查詢(xún)提出了基于Quad-tree索引的查詢(xún)算法。本文在一個(gè)水平分布的super-

4、peer網(wǎng)絡(luò)中對(duì)不確定數(shù)據(jù)進(jìn)行top-k查詢(xún)。在super-peer網(wǎng)絡(luò)中，每個(gè)節(jié)點(diǎn)基于Quad-Tree來(lái)索引本地的不確定數(shù)據(jù)(UQ-Tree)，而每個(gè)節(jié)點(diǎn)將索引數(shù)據(jù)的概要信息發(fā)送到super-peer中，super-peer利用這些概要信息建立索引，所有的super-peer再通過(guò)相互共享索引信息而構(gòu)成一個(gè)全局索引。最后基于全局索引進(jìn)行兩步的處理框架，空間剪枝spatial-pruning和分布式剪枝distributed-prun

5、ing。實(shí)驗(yàn)表明空間剪枝算法減少了大量的網(wǎng)絡(luò)通信代價(jià)，而分布式剪枝算法降低了大量的計(jì)算代價(jià)。
　　本文對(duì)在P2P網(wǎng)絡(luò)的不確定數(shù)據(jù)的KNN查詢(xún)提出基于P2PR-tree索引的查詢(xún)算法。本文基于現(xiàn)有的集中式的不確定數(shù)據(jù)的KNN查詢(xún)方法，提出了一種在P2P環(huán)境中對(duì)不確定數(shù)據(jù)的KNN查詢(xún)方法。該方法在super-peer的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的基礎(chǔ)上，以一種擴(kuò)展的R樹(shù)(P2PR-tree)作為此查詢(xún)算法的空間索引結(jié)構(gòu)，解決P2P環(huán)境中對(duì)多維數(shù)據(jù)的

6、索引。并且結(jié)合兩種剪枝策略減少了候選集的大小和查詢(xún)?cè)赑2P網(wǎng)絡(luò)中的網(wǎng)絡(luò)代價(jià)。實(shí)驗(yàn)結(jié)果表明，該方法在減少網(wǎng)絡(luò)代價(jià)方面具有較高的性能。
　　針對(duì)“非結(jié)構(gòu)化P2P網(wǎng)絡(luò)下基于概率的不確定排序查詢(xún)”:
　　本文首先利用Quad-tree構(gòu)建一個(gè)分布式的不確定數(shù)據(jù)的索引，并基于索引提出了一個(gè)空間剪枝算法。然后，根據(jù)局部top-k概率與全局top-k概率之間的關(guān)系提出不確定數(shù)據(jù)成為top-k概率的上界，根據(jù)top-k概率與skyline概

7、率之間的關(guān)系提出不確定數(shù)據(jù)成為top-k概率的下界，通過(guò)兩種概率剪枝算法來(lái)減少top-k查詢(xún)?cè)诰W(wǎng)絡(luò)中的傳輸和計(jì)算代價(jià)，并且進(jìn)一步減少候選集大小。最后本文采用采樣的方法來(lái)計(jì)算候選集的top-k概率以確定最終的top-k查詢(xún)結(jié)果。大量的實(shí)驗(yàn)驗(yàn)證了算法的有效性。
　　針對(duì)“P2P網(wǎng)絡(luò)下在線(xiàn)數(shù)據(jù)分類(lèi)”:
　　本文提出了一個(gè)基于OS-ELM的集成分類(lèi)框架來(lái)對(duì)分層次的P2P網(wǎng)絡(luò)中的數(shù)據(jù)進(jìn)行分類(lèi)操作。這個(gè)框架是利用OS-ELM的增量學(xué)習(xí)原