基于概率生成模型的文本主題建模及其應(yīng)用.pdf

1、在以信息化、數(shù)字化和網(wǎng)絡(luò)化為特征的21世紀(jì)里，海量的文本數(shù)據(jù)正在從各個(gè)方面以各種形式深層次地影響著我們的生活。如果說(shuō)Google、Baidu等搜索引擎通過(guò)幫助我們從海量文本中準(zhǔn)確地查找相關(guān)的文本而帶來(lái)了人們利用文本信息的第一次革命，文本挖掘則通過(guò)從海量文本中挖掘出新的知識(shí)幫助人迅速理解海量文本帶來(lái)了人們利用文本信息的第二次革命。文本聚類是文本挖掘兩大重要研究問(wèn)題之一[1，2]。文本聚類根據(jù)文本的內(nèi)容的相似性將文本集合歸為若干個(gè)“類”。文

2、本聚類將理解海量的文本的過(guò)程從“以單個(gè)文本為單位逐篇理解文本集合內(nèi)各文本”的過(guò)程簡(jiǎn)化為“以文本類為單位逐個(gè)理解文本集合內(nèi)各個(gè)主題”的過(guò)程。一個(gè)文本類代表了一個(gè)統(tǒng)一的主題內(nèi)容，可以幫助人們快速理解海量文本集合的內(nèi)容，也可以被其他文本處理方法進(jìn)一步挖掘和利用。然而傳統(tǒng)的文本聚類方法主要關(guān)注如何將文本集合歸類，而對(duì)文本類本身的研究卻只有初步的嘗試。主題建模利用貝葉斯概率模型為“主題”、“主題間關(guān)系”等抽象概念建立明確的模型，并利用近似概率推理

3、方法從文本數(shù)據(jù)中挖掘出這些抽象概念，彌補(bǔ)了文本聚類研究領(lǐng)域內(nèi)對(duì)文本類本身研究的不足。主題建模方法以其出色的對(duì)高維數(shù)據(jù)的降維能力，對(duì)真實(shí)世界中復(fù)雜系統(tǒng)的建模能力以及靈活易擴(kuò)展的模型設(shè)計(jì)方法，成為文本挖掘領(lǐng)域近年來(lái)的一個(gè)熱門研究方向，并在圖像處理、金融、軟件工程等眾多領(lǐng)域得到了廣泛的應(yīng)用。本文正是基于以上的背景，對(duì)主題建模研究中若干關(guān)鍵問(wèn)題進(jìn)行了研究，并嘗試了主題建模方法在其他研究領(lǐng)域的應(yīng)用。本研究?jī)?nèi)容和創(chuàng)新點(diǎn)體現(xiàn)在以下幾個(gè)方面：
　

4、　 ⑴主題模型設(shè)計(jì)的研究。樹(shù)狀層次化主題關(guān)系[3]和有向無(wú)環(huán)圖主題關(guān)系[4]的引入增強(qiáng)了主題模型對(duì)復(fù)雜文本生成過(guò)程的建模能力。然而本文的研究工作表明，這類復(fù)雜的主題模型內(nèi)部隨機(jī)變量之間存在的相關(guān)性使得某些常用的近似概率推理算法(Gibbs抽樣算法)收斂速度慢，容易陷入局部最大點(diǎn)，導(dǎo)致算法無(wú)法挖掘出文本數(shù)據(jù)中蘊(yùn)含的語(yǔ)義。針對(duì)這個(gè)問(wèn)題，我們提出了一個(gè)新的隨機(jī)過(guò)程：嵌套的層次化Dirichlet過(guò)程(nested hierarchical

5、Dirichlet process)，并基于該隨機(jī)過(guò)程提出兩個(gè)層次化主題模型。我們的理論分析和實(shí)驗(yàn)表明，在這兩個(gè)主題模型中的引入“亞主題”和“層次映射”的概念，有效解決了隨機(jī)變量間的相關(guān)性帶來(lái)的模型推理的困難。
　　 ⑵近似概率推理方法的研究。由于主題模型的復(fù)雜性，主題模型的精確推理超過(guò)了現(xiàn)有的計(jì)算能力。馬爾可夫鏈蒙特卡羅(Markov chain Monte Carlo)方法是一種廣泛使用的主題模型的近似推理方法。利用MCMC

6、方法進(jìn)行的主題模型的推理過(guò)程就是運(yùn)行Markov鏈直至其收斂到主題模型定義的各隱含隨機(jī)變量的聯(lián)合概率分布的過(guò)程。MCMC方法的收斂速度決定了主題建模處理海量文本的能力。然而由于一些主題模型中大量隨機(jī)變量之間復(fù)雜的關(guān)系，一些MCMC方法收斂速度很慢[5]。本文提出的ASM抽樣算法是MCMC方法的一種。ASM抽樣算法能夠在運(yùn)行的過(guò)程中充分利用Markov鏈當(dāng)前狀態(tài)內(nèi)所有的信息動(dòng)態(tài)調(diào)整轉(zhuǎn)移矩陣，提高收斂速度。實(shí)驗(yàn)表明，相比現(xiàn)有的類似算法，AS

7、M抽樣算法能夠在更短的時(shí)間內(nèi)收斂到更好的結(jié)果。
　　 ⑶主題模型在移動(dòng)建模中應(yīng)用的研究。主題建模不僅是文本處理領(lǐng)域近年來(lái)熱門的研究方向，也在其他研究領(lǐng)域得到廣泛的應(yīng)用。移動(dòng)建模是移動(dòng)計(jì)算中一個(gè)重要的研究問(wèn)題。移動(dòng)建模為無(wú)線網(wǎng)絡(luò)用戶的移動(dòng)方式建模，解決用戶的移動(dòng)性帶來(lái)的如資源部署、路由協(xié)議設(shè)計(jì)等各種難題。在移動(dòng)建模研究領(lǐng)域存在一種特殊的數(shù)據(jù)，即通過(guò)各種移動(dòng)設(shè)備，如手機(jī)、車載GPS、無(wú)線通信網(wǎng)絡(luò)等記錄下的移動(dòng)用戶在環(huán)境中留下的一連串

8、的軌跡記錄(trace log)。這些軌跡記錄和文本數(shù)據(jù)一樣具有高維度、數(shù)據(jù)量大、內(nèi)部蘊(yùn)含復(fù)雜的模式的特點(diǎn)。傳統(tǒng)的移動(dòng)建模方法大都采用以Markov模型、隱Markov模型為代表的時(shí)序模型。我們指出在一些場(chǎng)景下非時(shí)序模型比時(shí)序模型更加適合用來(lái)挖掘用戶移動(dòng)行為背后的目的。我們首次提出了層次化的移動(dòng)模式的概念，并首次將主題建模引入到移動(dòng)建模研究領(lǐng)域中。實(shí)驗(yàn)表明我們提出的基于嵌套的Dirichlet過(guò)程混合過(guò)程的移動(dòng)模型能比隱Markov模型