基于自身特征的短文本分類研究.pdf

1、在線評(píng)論、網(wǎng)絡(luò)聊天、搜索片段和微型博客等短文本包含大量有價(jià)值的潛在信息，然而，短文本具有特征稀疏、描述概念信號(hào)弱等特點(diǎn)，使得傳統(tǒng)的文本分類技術(shù)面臨極大的挑戰(zhàn)。論文針對(duì)短文本特征稀疏性和描述概念信號(hào)弱等問(wèn)題開展分類方法研究，選題具有重要的理論和應(yīng)用價(jià)值。
　　論文主要工作如下:
　　(1)對(duì)短文本相關(guān)的研究領(lǐng)域及覆蓋范圍進(jìn)行詳細(xì)的分析，并對(duì)文本分類的相關(guān)關(guān)鍵技術(shù)進(jìn)行簡(jiǎn)要概述。
　　(2)針對(duì)已有特征選擇方法對(duì)特征和類之間

2、的相關(guān)性考慮不夠充分等問(wèn)題，提出基于類區(qū)分特征的短文本分類方法。通過(guò)特征在類內(nèi)和類間的分布關(guān)系進(jìn)行特征權(quán)重的衡量，迭代的選取局部環(huán)境下的重要特征，并依據(jù)這些特征進(jìn)行局部分類，實(shí)驗(yàn)結(jié)果表明該方法在時(shí)間性能和準(zhǔn)確率方面有很大優(yōu)勢(shì)。
　　(3)針對(duì)短文本的特征稀疏及數(shù)據(jù)集存在的不平衡問(wèn)題，提出一種基于自身特征擴(kuò)展的短文本分類方法研究。首先對(duì)于每個(gè)類別選取相同比率具有高指示性的特征并進(jìn)行合并;其次，依據(jù)最終的特征空間，對(duì)訓(xùn)練集和測(cè)試集進(jìn)行