主題模型的在線消息傳遞算法研究.pdf

1、在線學(xué)習(xí)是指一個(gè)學(xué)習(xí)系統(tǒng)能不斷地從新樣本中學(xué)習(xí)到新的知識(shí)，并且還能夠保留大部分以前已經(jīng)學(xué)習(xí)到的知識(shí)。在當(dāng)今數(shù)字化信息時(shí)代，隨著各行各業(yè)數(shù)據(jù)規(guī)模的不斷增加，對(duì)時(shí)間和空間資源的需求也在不斷增加，所以研究在線學(xué)習(xí)就成為一種迫切需求。目前主題模型的在線學(xué)習(xí)算法在精度和速度上都不是很理想，因此本文以海量數(shù)據(jù)和流數(shù)據(jù)為研究對(duì)象，著重研究基于概率潛在語義分析（PLSA）模型和潛在狄利克雷分布（LDA）模型更高效的在線學(xué)習(xí)算法，其創(chuàng)新點(diǎn)主要體現(xiàn)在以下幾

2、個(gè)方面：
　　1）針對(duì)當(dāng)前所面臨的海量數(shù)據(jù)和流數(shù)據(jù)，離線算法會(huì)因?yàn)閮?nèi)存不足和數(shù)據(jù)集不能完整獲取而無法解決文檔分類的問題，因此本文提出的在線學(xué)習(xí)算法首先對(duì)海量數(shù)據(jù)進(jìn)行切分，然后對(duì)切分后的若干獨(dú)立段逐個(gè)訓(xùn)練，并且采用前段的結(jié)果參數(shù)計(jì)算當(dāng)前數(shù)據(jù)段的梯度下降。
　　2）提出基于PLSA模型改進(jìn)因子圖表示的在線消息傳遞（OBP）算法。PLSA模型是一種簡單的文檔分類方法，然而針對(duì)海量數(shù)據(jù)和流數(shù)據(jù)，PLSA模型無法繼續(xù)采用傳統(tǒng)的離線算法

3、解決文檔分類的問題，雖然現(xiàn)在已經(jīng)提出相應(yīng)的在線學(xué)習(xí)算法，但是仍然不能滿足快速和準(zhǔn)確的要求，所以本文提出了基于PLSA模型改進(jìn)因子圖表示的OBP算法。四組公共大規(guī)模數(shù)據(jù)集和三組百度真實(shí)海量數(shù)據(jù)集上的實(shí)驗(yàn)，都表明在時(shí)間和空間復(fù)雜度上OBP算法均優(yōu)越于當(dāng)前所流行的基于PLSA模型的OEM算法。
　　3）提出基于LDA模型改進(jìn)因子圖表示的在線消息傳遞（OBP）算法。針對(duì)PLSA模型在處理海量數(shù)據(jù)時(shí)，模型中參數(shù)的個(gè)數(shù)隨文檔數(shù)和單詞數(shù)呈線性增

4、長，從而導(dǎo)致PLSA模型的在線學(xué)習(xí)算法在處理海量數(shù)據(jù)時(shí)非常復(fù)雜這一問題，因此本文提出了基于LDA模型改進(jìn)因子圖表示的OBP算法，并且從理論上證明了OBP算法的收斂性，通過實(shí)驗(yàn)驗(yàn)證該算法的高效性。
　　4）提出了在線消息傳遞的主題追蹤算法。針對(duì)訓(xùn)練的過程中因數(shù)據(jù)流不斷地流入，導(dǎo)致每段的主題也跟隨著不斷的變化這一問題，本文提出了在線消息傳遞的主題追蹤算法。算法通過對(duì)流數(shù)據(jù)的不斷訓(xùn)練，給出當(dāng)前最熱冷門主題，并更準(zhǔn)確地預(yù)測各個(gè)主題的變化趨