基于文檔主題相關(guān)性的LDA有監(jiān)督模型.pdf

1、在機器學(xué)習(xí)和自然語言處理領(lǐng)域中,語義模型(Topic Models)是一類基于統(tǒng)計理論的概率模型,它一般通過構(gòu)建出“詞匯—主題—文檔”來發(fā)現(xiàn)語料庫(文檔集合)中的潛在的主題(語義)。其中,最具代表性的語義模型有PLSA語義模型和LDA語義模型。
　　近年來,作為自然語言處理領(lǐng)域的一大分支的語義模型在原有的PLSA語義模型和LDA語義模型的基礎(chǔ)上得到了極大的發(fā)展。例如改進的PLSA、LDA語義模型可以處理分類問題和判斷文檔集合中任意

2、兩篇文檔的相關(guān)性等。在應(yīng)用上，如今的語義模型已經(jīng)被廣泛用于信息抽取、自然語言處理、文本分類、社交網(wǎng)絡(luò)、信息檢索、自動文摘等領(lǐng)域。本文在層次關(guān)系模型(Hierarchical Relational Models)的基礎(chǔ)上提出了能處理二類分類問題和回歸問題的基于文檔主題相關(guān)性的LDA有監(jiān)督模型。該模型可以直接應(yīng)用到個性化文檔推薦和個性化檢索領(lǐng)域中。
　　本文的主要工作總結(jié)如下:
　　(1)本課題首次提出了基于文檔主題相關(guān)性的LD

3、A有監(jiān)督模型。本課題在LDA語義模型的基礎(chǔ)上，加以適當(dāng)?shù)母倪M,將多類分類問題和回歸問題結(jié)合到LDA語義模型中,從而提出了能在語義層面進行文檔間相關(guān)性計算的訓(xùn)練模型;
　　(2)本課題將提出的基于文檔主題相關(guān)性的LDA有監(jiān)督模型用于個性化文檔推薦的模擬實驗中。本課題把原有的用于排序?qū)W習(xí)的標準文檔數(shù)據(jù)集OHSUMED運用于個性化文檔推薦的模擬實驗中。實驗證明,本課題提出的方法是有效的;
　　(3)本文提出了采用LDA語義模型來計

4、算文檔之間的相似性,且用于傳統(tǒng)的列表級排序?qū)W習(xí)中。本文在前人考慮了文檔之間相似性的排序?qū)W習(xí)的基礎(chǔ)上，加入了LDA語義模型計算的文檔間的相似性,用語義的信息來影響排序?qū)W習(xí),從而獲得最終納入了語義信息的排序函數(shù)。在實驗中,將納入語義和詞匯相似性的ListMle、ListNet分別與僅考慮詞匯相似性的ListMle、ListNet和沒有考慮任何相似性的原始 ListMle、ListNet做為對比實驗,最終在NDCG@n的評價準則下,我們采用的