基于主題模型的新聞標(biāo)題分類方法研究.pdf

1、大數(shù)據(jù)時(shí)代的到來，給很多傳統(tǒng)的行業(yè)帶來了前所未有的沖擊和挑戰(zhàn)，新聞行業(yè)也是如此。大數(shù)據(jù)與傳統(tǒng)新聞行業(yè)在相互融合的過程中衍生出來一種新的新聞形式，它通過利用自然語言處理領(lǐng)域的知識(shí)，使用一些技術(shù)手段，通過可視化的方式向公眾展示出來?；ヂ?lián)網(wǎng)中每天都產(chǎn)生海量的新聞，當(dāng)我們想搜集各種新聞并從中挖掘有用信息時(shí)，新聞分類是必須做的基礎(chǔ)工作之一。
　　在如今“數(shù)據(jù)驅(qū)動(dòng)新聞”的背景下，網(wǎng)絡(luò)新聞自動(dòng)分類已經(jīng)成為當(dāng)下研究的熱點(diǎn)問題。由于標(biāo)題是文本內(nèi)容的

2、高度概括，所以在面對(duì)海量的新聞數(shù)據(jù)時(shí)，先用新聞標(biāo)題對(duì)文本進(jìn)行分類無疑是十分高效的。然而新聞標(biāo)題作為短文本的一種，它的文本長(zhǎng)度基本上不會(huì)超過30字，大多數(shù)在20字以內(nèi)，不像其他短文本那樣，比如微博，有時(shí)可以達(dá)到上百字。所以新聞標(biāo)題的特征更為稀疏，這給短文本信息分類帶來了更大的挑戰(zhàn)，也意味著傳統(tǒng)的研究方法在新聞標(biāo)題分類問題上存在缺陷和不足。
　　我們將需要分類的文本集合歸類到一個(gè)已定義的類別中的過程稱為文本分類。在面對(duì)新聞信息挖掘這個(gè)

3、問題時(shí)，我們不得不做的一個(gè)基礎(chǔ)工作就是對(duì)新聞數(shù)據(jù)進(jìn)行分類。目前大多數(shù)的方法都是針對(duì)新聞文本內(nèi)容進(jìn)行分類的，也就是通常所說的長(zhǎng)文本分類。然而，由于新聞的正文內(nèi)容通常較多，所以在處理大量的新聞數(shù)據(jù)時(shí)就會(huì)非常麻煩。鑒于新聞標(biāo)題是新聞內(nèi)容的高度概括，本文利用新聞標(biāo)題來對(duì)新聞進(jìn)行分類。本文主要做了以下工作:
　　(1)使用從網(wǎng)上找到的未經(jīng)過加工處理的騰訊新聞數(shù)據(jù)集，從中提取了新聞標(biāo)題，并對(duì)其進(jìn)行類別標(biāo)注和預(yù)處理，構(gòu)建了用于分類的新聞標(biāo)題語料

4、庫，包括政治、經(jīng)濟(jì)、教育、科技、體育、社會(huì)、民生等七大類別新聞，其中，民生類新聞?dòng)职ń煌?、醫(yī)療、住房等三個(gè)小類別。
　　(2)由于新聞標(biāo)題擁有短小精煉的語言特點(diǎn)，使用現(xiàn)有的分詞技術(shù)并不能達(dá)到很好的分詞效果，這也會(huì)影響最終的分類效果。針對(duì)這個(gè)問題，本文在分詞過程中搜集并使用了新聞?lì)I(lǐng)域詞典，并通過實(shí)驗(yàn)最終驗(yàn)證了該方法的有效性，提高了分類效果。
　　(3)由于新聞標(biāo)題自身包含特征詞個(gè)數(shù)極少、并且描述信息能力強(qiáng)，所以傳統(tǒng)的分類方法