基于社會(huì)化標(biāo)簽的Web網(wǎng)頁(yè)搜索的優(yōu)化技術(shù)研究.pdf

1、伴隨著 Web2.0技術(shù)的發(fā)展，以 Del.icio.us和Flickr為代表的社會(huì)化標(biāo)注類網(wǎng)站迅速崛起，在這些網(wǎng)站上，用戶首先需要注冊(cè)獲取一個(gè)用戶名，隨后就可以發(fā)布并標(biāo)注自己的資源，同時(shí)也可以標(biāo)注其他人的資源。被標(biāo)注的資源有很多種，例如：圖片（Flickr），書簽（Del.icio.us），視頻（YouTube）等，對(duì)于用戶對(duì)資源的標(biāo)注目前人們習(xí)慣稱之為社會(huì)化標(biāo)簽。隨著社會(huì)化標(biāo)注類網(wǎng)站的迅速發(fā)展，累積了越來越多的社會(huì)化標(biāo)簽資源，再加上

2、社會(huì)化標(biāo)簽本身所具有的用戶相關(guān)性強(qiáng)、真實(shí)度高等特征，如何更好地利用社會(huì)化標(biāo)簽已成為人們關(guān)注的熱點(diǎn)。
　　社會(huì)化標(biāo)簽體現(xiàn)了用戶對(duì)資源內(nèi)容的著重點(diǎn)或者興趣點(diǎn)，往往能夠較真實(shí)地反映大眾的觀感。社會(huì)化分類標(biāo)簽是廣大用戶使用自己的語(yǔ)言自由添加的，它比 Web網(wǎng)頁(yè)本身的標(biāo)題更加豐富，其次，社會(huì)化分類比機(jī)器自動(dòng)抽取出來的元數(shù)據(jù)更加準(zhǔn)確。再有，社會(huì)化關(guān)系網(wǎng)絡(luò)中的三種實(shí)體（用戶，資源，標(biāo)簽）之間存在的結(jié)構(gòu)關(guān)系。本文充分利用了社會(huì)化分類標(biāo)簽的這些特點(diǎn)

3、，將其應(yīng)用到了Web搜索技術(shù)的優(yōu)化中，主要完成了以下三個(gè)方面的工作：
　　第一，本文對(duì)如何從社會(huì)化標(biāo)注類網(wǎng)站中大量抽取社會(huì)化標(biāo)簽進(jìn)行了研究。抽取過程分為兩個(gè)階段：網(wǎng)頁(yè)爬取和網(wǎng)頁(yè)解析。網(wǎng)頁(yè)爬取中通過對(duì)網(wǎng)頁(yè)url的控制，成功爬取了大量包含標(biāo)簽資源的網(wǎng)頁(yè)，網(wǎng)頁(yè)解析中通過對(duì)爬取的網(wǎng)頁(yè)分析，找取了這些網(wǎng)頁(yè)中標(biāo)簽、用戶和被標(biāo)注 url的特征，利用這些特征將這三種信息抽取了出來，并保存到了SqlServer數(shù)據(jù)庫(kù)中。
　　第二，對(duì)社會(huì)化標(biāo)

4、注類網(wǎng)站進(jìn)行了模型化表示，將其構(gòu)造成一個(gè)無向三元圖。接著簡(jiǎn)要介紹了PageRank算法，并根據(jù)其思路，在社會(huì)化網(wǎng)絡(luò)中提出了PageRank-like算法，利用此算法計(jì)算出web網(wǎng)頁(yè)的受歡迎度。
　　第三，使用經(jīng)典的排序?qū)W習(xí)算法RankNet，將Web網(wǎng)頁(yè)的受歡迎度同傳統(tǒng)檢索模型相結(jié)合，對(duì)傳統(tǒng)排序結(jié)果進(jìn)行了重排序，并對(duì)重排序后的結(jié)果進(jìn)行了重排序，發(fā)現(xiàn)重排序后的結(jié)果明顯優(yōu)于傳統(tǒng)排序結(jié)果。RankNet中使用的訓(xùn)練集和評(píng)測(cè)排序結(jié)果的測(cè)試