基于概率主題模型的文檔自動(dòng)分類.pdf

1、近年來，隨著因特網(wǎng)的高速發(fā)展，各種原始信息和數(shù)據(jù)如雨后春筍般的出現(xiàn)并大量充斥著網(wǎng)絡(luò)，這種海量的原始數(shù)據(jù)和信息包括圖片信息和數(shù)據(jù)，文本信息和數(shù)據(jù)、聲音信息和數(shù)據(jù)、視頻信息和數(shù)據(jù)等等。如何在難以估量的文檔中獲得和掌握最有效的、最關(guān)鍵的、最有用的信息和數(shù)據(jù)始終是信息處理的一大目標(biāo)[1][2][3][4][5]。其中對(duì)文檔進(jìn)行準(zhǔn)確、高效的分類是解決這個(gè)問題非常重要的部分。
　　本人通過研究目前文檔分類的現(xiàn)狀以及中文分詞的方法，設(shè)計(jì)出兩種基

2、于概率主題模型實(shí)現(xiàn)文檔分類的方法，并將開發(fā)成軟件?？梢苑謩e針對(duì)有監(jiān)督的和沒有監(jiān)督的情況，實(shí)現(xiàn)了中文文檔分類。
　　對(duì)于監(jiān)督的文檔時(shí)，設(shè)計(jì)實(shí)現(xiàn)了基于概率主題模型的文檔分類方法。根據(jù)一定量已經(jīng)區(qū)分好的訓(xùn)練文檔，計(jì)算每類文檔的主題分布概率分布。通過比較新文檔和訓(xùn)練文檔集概率主題分布的接近程度，從而確定新文檔所屬分類。
　　對(duì)于無監(jiān)督無監(jiān)督的文檔不包含已分類文檔庫(kù)的情況。設(shè)計(jì)實(shí)現(xiàn)了基于模糊K-Means的概率主題的文檔分類方法。首先

3、在文檔庫(kù)中提取關(guān)鍵詞，并抽取一定數(shù)量的文檔，利用這些關(guān)鍵詞和文檔抽取出主題，計(jì)算被抽取出的文檔的主題分布，然后將剩余文檔根據(jù)主題分布的接近程度與這些文檔進(jìn)行聚類。完成第一次聚類后，將重新確定主題和主題分布，并再次根據(jù)主題分布對(duì)文檔來進(jìn)行第二次、第三次聚類，直到不再發(fā)生變化，分類完成。
　　此外，中文分詞是處理中文文檔的基礎(chǔ)，我們也將實(shí)現(xiàn)通過一些共享的詞庫(kù)，完成文檔的中文分詞。軟件采用C＃語(yǔ)言制作開發(fā)，界面良好，運(yùn)行速度較快，可以兼