基于LDA模型與聚類的網(wǎng)絡(luò)新聞熱點話題發(fā)現(xiàn)研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，各大新聞門戶網(wǎng)站應(yīng)運而生，并成為了新聞媒體發(fā)布新聞和人們獲取信息的主要渠道。但由于網(wǎng)絡(luò)新聞的復(fù)雜性、冗余性、更新和傳播的快速性等，都給人們快速、準(zhǔn)確地獲取自己所需的關(guān)鍵信息帶來了困難，也不利于網(wǎng)絡(luò)輿情的監(jiān)控。因此網(wǎng)絡(luò)新聞熱點發(fā)現(xiàn)已成為當(dāng)下研究的熱點。
　　本文對傳統(tǒng)話題檢測方法進行了研究，針對VSM模型在語義挖掘方面和LDA模型在預(yù)處理方法方面的不足，結(jié)合變色龍聚類算法在話題發(fā)現(xiàn)上的應(yīng)用，提出了基于時間窗

2、口的熱點話題發(fā)現(xiàn)方法PLDA-CHC-SP。本文的主要工作包括：
　　1）針對LDA建模時傳統(tǒng)的數(shù)據(jù)預(yù)處理方法的不足，提出了一種用TF-IDF值對文本詞語進行權(quán)重過濾的改進預(yù)處理的LDA建模方法——PLDA（Promoted Latent Dirichlet Allocation），對于提高熱點話題發(fā)現(xiàn)的速度和準(zhǔn)確率有一定幫助。
　　2）傳統(tǒng)的聚類算法大部分是基于VSM模型進行文檔建模，而本文充分利用LDA模型的優(yōu)點以及變色

3、龍層次聚類對于話題發(fā)現(xiàn)準(zhǔn)確度較高的優(yōu)點，將改進預(yù)處理后的LDA與變色龍層次聚類算法相結(jié)合，提出了一種新的每日話題發(fā)現(xiàn)方法PLDA-CHC（Promoted Latent Dirichlet Allocation with Chameleon Hierarchical Clustering），以提高每日話題發(fā)現(xiàn)的準(zhǔn)確率；并提出了一種新的話題熱度計算方法對每日話題進行熱度量化。
　　3）對于PLDA-CHC的每日話題發(fā)現(xiàn)結(jié)果，使用了S