一種基于統(tǒng)計(jì)流形學(xué)習(xí)的文本分類(lèi)算法.pdf

1、文本是一種常見(jiàn)的數(shù)據(jù)形式，人們每天都會(huì)使用文本這一信息載體與他人進(jìn)行交流，互聯(lián)網(wǎng)中每時(shí)每刻都會(huì)產(chǎn)生海量的文本數(shù)據(jù)。文本分類(lèi)在信息檢索、數(shù)據(jù)挖掘、情感分析等任務(wù)上都發(fā)揮著巨大的作用。根據(jù)提取特征方式的不同，文本分類(lèi)算法可以分為以下三大類(lèi):基于統(tǒng)計(jì)的文本分類(lèi)算法，基于語(yǔ)義相似度的文本分類(lèi)算法以及基于深度學(xué)習(xí)的文本分類(lèi)算法。常見(jiàn)的基于統(tǒng)計(jì)的文本分類(lèi)算法有詞頻-逆向文件頻率模型(TF-IDF)，樸素貝葉斯等等。這些方法把詞作為特征項(xiàng)，詞出現(xiàn)的次

2、數(shù)作為權(quán)值，然后把文本表示為一個(gè)特征向量，最后使用分類(lèi)器進(jìn)行文本分類(lèi)。這些方法假設(shè)相似的文本中有很多相同的詞，但是這忽略了不同詞之間的語(yǔ)義相似性。基于語(yǔ)義相似度的文本分類(lèi)方法通常根據(jù)文本的主題信啟、對(duì)文本的相似度進(jìn)行度量，如主題模型等等，但是這些方法不能夠清晰地捕捉到詞和文本的主題多樣性。近年來(lái)，深度學(xué)習(xí)方法吸引了許多研究者的注意，但是這些方法，比如卷積神經(jīng)網(wǎng)絡(luò)或者循環(huán)神經(jīng)網(wǎng)絡(luò)等等，也有著一些不足。比如梯度消失問(wèn)題以及大規(guī)模參數(shù)訓(xùn)練帶來(lái)

3、的時(shí)間消耗。本文提出了一種基于統(tǒng)計(jì)流形學(xué)習(xí)的文本分類(lèi)算法，它提供了一個(gè)基于潛在主題分布的文本概率模型表示。該模型假設(shè)同一個(gè)主題下的詞服從高斯分布，然后文本被表示為一個(gè)混合高斯模型，最后利用統(tǒng)計(jì)流形學(xué)習(xí)的方法可以對(duì)文本之間的距離進(jìn)行度量。
　　本文的主要工作包括:
　　(1)從文本的生成過(guò)程出發(fā)，提出了一種文本表示的概率模型。每個(gè)主題被表示為一個(gè)高斯分布，文本被表示為一個(gè)高斯混合模型。這種概率模型可以對(duì)文本和詞的主題多樣性進(jìn)行