利用非廣延最大熵模型進(jìn)行文本分類.pdf

1、在線資源的迅速增長、互聯(lián)網(wǎng)信息量的急劇增加使得人們從信息匱乏的時代過渡到了信息極為豐富的時代。面對日益膨脹的、異構(gòu)的信息資源，如何快速、準(zhǔn)確地從海量信息中尋找到所需的相關(guān)內(nèi)容變得十分棘手。因此，研究利用計算機(jī)進(jìn)行自動文本分類成為自然語言處理和人工智能領(lǐng)域中一項具有重要應(yīng)用價值的課題。目前文本分類領(lǐng)域中已經(jīng)存在多種具有良好分類效果的理論技術(shù)，本文主要介紹如何利用非廣延熵模型進(jìn)行文本分類。非廣延熵模型建立在最大熵模型的基礎(chǔ)上，最大熵模型是一

2、項概率分布估計技術(shù)，它的基本思想是擬合所有已知事實，保持未知事件的未知狀態(tài)，已被廣泛應(yīng)用于語言建模、詞性標(biāo)注、文本分割等自然語言處理領(lǐng)域。
　　 本文在最大熵模型的基礎(chǔ)上提出了兩個用于文本分類的擴(kuò)展模型。第一個模型利用非廣延熵代替香農(nóng)熵作為最大熵模型中的目標(biāo)函數(shù)，以期簡化分類器的表達(dá)形式，稱之為非廣延熵模型；第二個模型在非廣延熵模型的基礎(chǔ)上引入實體間的高階約束，試圖通過增加文本中單詞間的共現(xiàn)關(guān)系約束提高文本分類的正確率，稱為帶有

3、高階約束的非廣延熵模型。成功建模后利用拉格朗日乘子法求解模型，得到分類器的表達(dá)形式并進(jìn)行參數(shù)估計，最終得到文本分類器。
　　 本文選用20 Newsgroups作為語料庫進(jìn)行文本分類，并進(jìn)行了兩組分類器性能評價對比實驗。第一組對比實驗比較基于本文提出的兩個擴(kuò)展模型的文本分類器，實驗結(jié)果表明在非廣延熵模型中添加高階約束后文本分類的正確率有一定程度的提高；第二組對比實驗比較兩個非廣延熵模型和最大熵模型，實驗結(jié)果表明本文提出的兩個擴(kuò)展