基于LDA多模型中文短文本主題分類體系構(gòu)建與分類.pdf

1、隨著微博、微信等新媒介的迅速發(fā)展，中文短文本信息呈爆發(fā)式增長(zhǎng)，如何高效的組織與管理文本信息，已成為亟需解決的問(wèn)題。文本主題分類，能夠改善文本信息雜亂的狀況，可以減少查詢時(shí)間，提高搜索質(zhì)量，快速有效地獲取文本信息。文本主題分類的任務(wù)是依據(jù)主題分類體系，判別待分類文本所屬分類體系中的一個(gè)或多個(gè)類別。傳統(tǒng)基于機(jī)器學(xué)習(xí)的文本分類算法，需要人工預(yù)定義分類類別，標(biāo)識(shí)類別語(yǔ)料，面對(duì)大規(guī)模文檔，人工人本過(guò)高，領(lǐng)域移植難，分類性能過(guò)度依賴人工。
　

2、　本文著眼于構(gòu)建一套針對(duì)大規(guī)模文檔的文本主題自動(dòng)分類體系，能夠自動(dòng)實(shí)現(xiàn)對(duì)大規(guī)模文檔的主題挖掘和分類體系構(gòu)建，高效的實(shí)現(xiàn)對(duì)文本主題的自動(dòng)分類。
　　LDA主題模型是一種無(wú)監(jiān)督文本主題挖掘模型，能夠?qū)崿F(xiàn)對(duì)文本主題的自動(dòng)挖掘。LDA自動(dòng)挖掘的結(jié)果Topic中存在部分噪聲 Topic，其高頻詞通常由隨機(jī)詞、通用詞組成，不具備主題代表性。采用信息熵、表征詞覆蓋率、表征詞方差、Topic獨(dú)立性檢測(cè)等算法，能有效實(shí)現(xiàn)對(duì)噪聲 Topic的自動(dòng)過(guò)濾

3、。由于語(yǔ)料本身的不平衡性以及分類類別數(shù)的影響，單個(gè)LDA模型并不能實(shí)現(xiàn)對(duì)文本主題的充分挖掘，不同分類粒度下 LDA主題挖掘結(jié)果Topic之間具備主題互補(bǔ)性。應(yīng)用多個(gè)不同分類粒度LDA模型能夠?qū)崿F(xiàn)對(duì)文本主題的完整挖掘，采用AP聚類算法對(duì)所有模型優(yōu)質(zhì)Topic進(jìn)行聚類，結(jié)合IGP指標(biāo)、BWP指標(biāo)能夠自動(dòng)確定最佳聚類類別數(shù)，從而實(shí)現(xiàn)多模型完備主題分類體系的構(gòu)建。依據(jù)多模型完備主題分類體系，采用多模型并發(fā)投票決策機(jī)制，有效擴(kuò)展了文本主題、提升了