基于LabeleD-LDA的財(cái)經(jīng)新聞分類系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、文本分類一直是自然語言處理中的研究熱點(diǎn)，伴隨著在互聯(lián)網(wǎng)行業(yè)的蓬勃發(fā)展，文本分類在各項(xiàng)實(shí)際應(yīng)用領(lǐng)域起到了關(guān)鍵作用，也是檢索、自然語言處理、機(jī)器學(xué)習(xí)的關(guān)鍵技術(shù)之一。文本分類的主要技術(shù)包括預(yù)處理、特征提取、特征降維、分類方法等。
　　本文主要聚焦于特征值提取和分類方法。對(duì)于特征提取，本文研究了傳統(tǒng)特征值提取的方法和主題建模的各種方式，比較了二者之間的優(yōu)勢(shì)和劣勢(shì)，并通過對(duì)系統(tǒng)需求的研究，確定使用Labeled-LDA(Labelde La

2、tent Dirichlet Allocation，標(biāo)簽狄利克雷分布)模型進(jìn)行建模，并提取特征值。確定建模方法后在，本文研究了主題建模中不同的參數(shù)估計(jì)算法，選用合適的方法估計(jì)模型中的參數(shù)，并應(yīng)用在系統(tǒng)中。
　　對(duì)于分類方法，本文研究和比較了多種具有代表性的分類方法，并選定了支持向量機(jī)作為本文所用的分類方法，同時(shí)研究和比較了支持向量機(jī)中所使用的多分類策略，結(jié)合實(shí)際情況選用了一對(duì)多的多分類策略，并應(yīng)用在系統(tǒng)中。
　　特征值提取和

3、分類方法的選擇是文本分類研究中的關(guān)鍵點(diǎn)。傳統(tǒng)的特征值提取方法很多是基于向量空間模型構(gòu)造的方法，容易產(chǎn)生較高維度的特征空間，同時(shí)也會(huì)帶來較多的無用特征，需要進(jìn)行精準(zhǔn)的特征降維工作。文本建模的方法可以在文檔和單詞之間構(gòu)造出主題值，通過主題連接文檔和單詞。主題包含了潛在語義的信息，這是傳統(tǒng)特征提取方法不能提供的，同時(shí)有效減少了同義詞的問題，進(jìn)一步降低了特征空間，提升了特征提取的準(zhǔn)確度。本文通過Labeled-LDA模型，提取特征值，運(yùn)用支持向