基于語義相似度計(jì)算及Twitter Storm平臺(tái)的微博檢索研究.pdf

1、隨著互聯(lián)網(wǎng)在國內(nèi)外的飛速發(fā)展，微博作為一款在世界各地被廣泛使用的互聯(lián)網(wǎng)社交產(chǎn)品具有跨時(shí)代的意義。它在為用戶提供開放和集中的互聯(lián)網(wǎng)社交服務(wù)的同時(shí)，逐漸發(fā)展為具有較大影響力的新媒體。鑒于微博數(shù)據(jù)的大規(guī)模及實(shí)時(shí)的特點(diǎn)，如何在海量及動(dòng)態(tài)更新的微博數(shù)據(jù)中為用戶提供其感興趣的內(nèi)容顯得尤為重要。
　　本文所討論的基于特征擴(kuò)展和相似度計(jì)算的微博檢索的內(nèi)容包括：1、擴(kuò)展微博短文本的內(nèi)容，豐富微博的語義特征，為檢索結(jié)果與檢索關(guān)鍵字在語義上的相關(guān)性提供

2、保障。2、利用WordNet機(jī)器語義字典的網(wǎng)狀結(jié)構(gòu)得到較準(zhǔn)確的微博語義相似度值。3、以相似度值的高低作為檢索排序的標(biāo)準(zhǔn)來模擬一個(gè)實(shí)時(shí)的微博檢索過程，能夠完成對(duì)關(guān)鍵字的微博檢索，并為每一個(gè)檢索到的微博提供相關(guān)微博的列表。
　　在豐富微博語義方面，本文提出基于維基百科的語義特征擴(kuò)展方法，該方法將微博中的名詞作為表達(dá)微博主題的關(guān)鍵詞，對(duì)名詞進(jìn)行關(guān)聯(lián)拓展以豐富微博的信息內(nèi)容。具體地，本文將維基百科作為語義特征的擴(kuò)展源，將名詞詞條中的“ca

3、tegory”模塊下所包含的類別作為擴(kuò)展語義特征添加到原微博中來豐富微博語義，并通過實(shí)驗(yàn)證明使用該語義擴(kuò)展方法能夠在一定程度上提高相似度計(jì)算結(jié)果的質(zhì)量。在獲取較高準(zhǔn)確度的微博相似度值方面，本文利用了普林斯頓大學(xué)開發(fā)的英語詞網(wǎng)數(shù)據(jù)庫WordNet的網(wǎng)狀結(jié)構(gòu)得到基于微博語義的相似度。具體地，我們使用[37]中提出的基于路徑長(zhǎng)度的方法，同時(shí)考慮兩個(gè)單詞以及它們的最近公共節(jié)點(diǎn)在WordNet中距離根節(jié)點(diǎn)的路徑長(zhǎng)度（深度）來計(jì)算語義相似度，在實(shí)驗(yàn)

4、中與基于VSM的余弦相似度方法做比較證明該方法能夠在一定程度上提高找到相關(guān)微博的準(zhǔn)確度與召回率。在模擬實(shí)時(shí)微博檢索方面，本文研究了開源及實(shí)時(shí)的數(shù)據(jù)處理平臺(tái)Twitter Storm的架構(gòu)及應(yīng)用，采用本地模式模擬數(shù)據(jù)的實(shí)時(shí)和分布式處理。具體地，本文定義了自己的微博檢索拓?fù)浣Y(jié)構(gòu)，并實(shí)現(xiàn)拓?fù)浣Y(jié)構(gòu)中的每個(gè)節(jié)點(diǎn)功能，包括twitter數(shù)據(jù)集的預(yù)處理、節(jié)點(diǎn)間信息傳輸、多節(jié)點(diǎn)的相似度的并行計(jì)算與相似度表的維護(hù)、基于相似度值的檢索結(jié)果排序，以及為每個(gè)檢