基于Topic的Blog隱含社區(qū)發(fā)現(xiàn).pdf

1、基于Topic的Blog的隱含社區(qū)發(fā)現(xiàn)為Blog的應(yīng)用研究開辟了一個很有前途同時也具有相當(dāng)挑戰(zhàn)性的方向。隨著Intemet在人們生活中的廣泛應(yīng)用，Blog作為一種新型的網(wǎng)絡(luò)媒介交流工具迅速的發(fā)展，它以其自身的獨特的特點，深入到網(wǎng)絡(luò)的每個角落，影響著主流媒體、政治等社會的各個方面。通過對Blog page的搜索雖然可以找到人們需要的Blog頁面，但它在尋找人們討論的Topic方面有很大的局限性，遠(yuǎn)遠(yuǎn)無法滿足人們對Blog應(yīng)用的真正需要，也

2、無法發(fā)揮Blog自身所獨有的功能，因此，通過對Blog網(wǎng)頁的搜索，利用信息檢索、數(shù)據(jù)挖掘、信息提取、自然語言處理技術(shù)進(jìn)行Blog頁面內(nèi)容和Blog頁面之間鏈接關(guān)系的解析，同時，也從Blog個人的行為和內(nèi)容語言的表述特點進(jìn)行研究、分析，探測、發(fā)現(xiàn)Blog上的言論、看法、觀點對主流媒體和社會政治經(jīng)濟(jì)生活的影響，發(fā)現(xiàn)人們的興趣及愛好、對某一類事物或產(chǎn)品的印象及其評價是什么，挖掘人們的潛在情感，所以，如何進(jìn)行發(fā)現(xiàn)、探測、尋找互連網(wǎng)上潛在的、隱含

3、的關(guān)于Blog的Topic社區(qū)就成為一個既有挑戰(zhàn)性又有實際應(yīng)用價值的課題。本文從理論探討和實際系統(tǒng)開發(fā)兩個不同的角度來對基于Topic的隱含社區(qū)發(fā)現(xiàn)進(jìn)行了研究，主要完成了以下工作： 1)提出了一種基于SPC方法的Topic隱含社區(qū)發(fā)現(xiàn)算法。首先從互聯(lián)網(wǎng)上進(jìn)行Blog page的爬行，利用種子URL進(jìn)行種子URL的擴(kuò)充并提取Blog page的內(nèi)容，保存頁面的特征，從Blog page的內(nèi)容和Blog page之間的鏈接關(guān)系兩個方

4、面計算Topic和Blog page之間的相關(guān)度，本文在分析了相關(guān)研究資料的基礎(chǔ)上，提出了一種計算Blogentry與Topic相關(guān)度的算法，同時，把SPC在圖論中頂點權(quán)值和邊的權(quán)值的理論方法的應(yīng)用，引入到Blog社區(qū)隱含網(wǎng)絡(luò)的探測和發(fā)現(xiàn)中，進(jìn)行基于Blog的Topic的隱含網(wǎng)絡(luò)的發(fā)現(xiàn)，并取得了比較滿意的效果。試驗結(jié)果表明社區(qū)的覆蓋率和社區(qū)的粘合度都有明顯的提高和改進(jìn)。 2)通過大量的試驗分析了在Blog中隱含社區(qū)entry之間

5、及BLOG鏈接指向之間的特點，探討了它們對Blog隱含社區(qū)發(fā)現(xiàn)和探測的影響，同時，對特定Topic社區(qū)中的。Blogger，從Topic的活躍度和重要度兩個方面，根據(jù)各自的特征權(quán)值進(jìn)行倒序排序，提取前10個結(jié)果，進(jìn)行對比和分析Topic和Blogger的特征之間的關(guān)系、不同的Topic對Blogger的活躍度和重要度所產(chǎn)生的不同影響。 3)將SPC算法對Topic隱含社區(qū)的分析應(yīng)用于Blog搜索引擎的信息檢索系統(tǒng)，自動的從互聯(lián)網(wǎng)