P2P系統(tǒng)中基于資源特征的信息檢索技術(shù).pdf

1、上海交通大學(xué)博士學(xué)位論文P2P系統(tǒng)中基于資源特征的信息檢索技術(shù)姓名：朱星申請學(xué)位級別：博士專業(yè)：計(jì)算機(jī)應(yīng)用技術(shù)指導(dǎo)教師：俞勇20050501上海交通大學(xué)博士學(xué)位論文2 ．P 2 P 社區(qū)內(nèi)的檢索技術(shù)。形成的P 2 P 社區(qū)為信息檢索提供了一個(gè)好的環(huán)境。從理論上說，在P 2 P 社區(qū)內(nèi)進(jìn)行檢索，可以花費(fèi)較小的代價(jià)而取得較好的檢索效果( 查全率／查準(zhǔn)率) 。為了有效地組織和管理社區(qū)內(nèi)的節(jié)點(diǎn)，我們采用了一種混合型的P 2 P 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。根

2、據(jù)混合型網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的特點(diǎn)，我們將P 2 P 社區(qū)內(nèi)的信息檢索劃分為3 個(gè)過程：節(jié)點(diǎn)內(nèi)的檢索、組內(nèi)搜索和組間搜索。對于節(jié)點(diǎn)內(nèi)的檢索，我們通過兩種不同的數(shù)學(xué)手段( 矩陣計(jì)算技術(shù)和統(tǒng)計(jì)推斷技術(shù)) 推導(dǎo)出了一種新的詞條權(quán)重計(jì)算方法：M z ×7 之D F 。該計(jì)算方法有效的解決了同構(gòu)文檔集中的信息檢索問題，為取得好的檢索結(jié)果打下了堅(jiān)實(shí)的基礎(chǔ)。對于組內(nèi)檢索和組間檢索，為了減少查詢開銷、提高檢索效率，我們選擇部分與查詢相關(guān)度高的節(jié)點(diǎn)來執(zhí)

3、行查詢?nèi)蝿?wù)。實(shí)驗(yàn)結(jié)果表明，在較小的查詢開銷下，通過采用上述方法可以取得較好的檢索結(jié)果。3 ．基于資源特征的查詢優(yōu)化技術(shù)。對于沒有P 2 P 社區(qū)存在的系統(tǒng)，我們提出了一種查詢優(yōu)化機(jī)制：S D Q E ( S e m a n t i c D u r a lQ u e r y E x p a n ．s i o n ) 。在S D Q E 中，我們利用L S I ( L a t e n t S e m a n t i cI n d e x i

4、 n g ) 技術(shù)實(shí)現(xiàn)了查詢擴(kuò)展。我們認(rèn)為查詢擴(kuò)展的結(jié)果反映了不同節(jié)點(diǎn)內(nèi)資源主題的統(tǒng)計(jì)特征。通過比較不同文檔集的特征，S D Q E 實(shí)現(xiàn)了查詢優(yōu)化，從而部分的解決了V S M 模型中的同義詞和多義詞問題。實(shí)驗(yàn)表明，通過采用S D Q E 機(jī)制，P 2 P 系統(tǒng)內(nèi)的文本檢索引擎的性能可以得到較大的提高。結(jié)合自動(dòng)分類／聚類技術(shù)，經(jīng)過適當(dāng)?shù)臄U(kuò)展，上述方法都可以適用于節(jié)點(diǎn)內(nèi)包含多個(gè)主題的文檔的情況。總的說來，本文的主要貢獻(xiàn)( 創(chuàng)新點(diǎn)) 如下：

5、1 ．通過有機(jī)的結(jié)合主題模型和模糊理論，提出了一種有效的基于節(jié)點(diǎn)描述的相似節(jié)點(diǎn)發(fā)現(xiàn)機(jī)制。該發(fā)現(xiàn)機(jī)制有較好的數(shù)學(xué)基礎(chǔ)。2 ．以準(zhǔn)確的發(fā)現(xiàn)相似節(jié)點(diǎn)為基礎(chǔ)，我們提出了P 2 P 系統(tǒng)中基于任務(wù)的P 2 P 社區(qū)形成機(jī)制。與其他社區(qū)形成機(jī)制不同，我們提出的社區(qū)形成機(jī)制通過利用節(jié)點(diǎn)的資源特征，實(shí)現(xiàn)了在純粹的P 2 P 系統(tǒng)中以完全自動(dòng)和自治的方式形成社區(qū)。同時(shí)，我們提出了用于社區(qū)形成機(jī)制評價(jià)的3 個(gè)量化指標(biāo)：完整性( H C S ( T ) )