大規(guī)模層次分類中深層類別的分類算法研究.pdf

1、隨著互聯(lián)網(wǎng)大數(shù)據(jù)的快速發(fā)展，網(wǎng)絡(luò)上的文本數(shù)據(jù)和網(wǎng)頁(yè)數(shù)據(jù)呈現(xiàn)幾何級(jí)增長(zhǎng)，為了從海量的文本數(shù)據(jù)中快速準(zhǔn)確地獲取潛在的信息，需要對(duì)文本進(jìn)行更精確更深層的類別標(biāo)注和主題理解。因此，文本分類技術(shù)就成了重要的研究?jī)?nèi)容。
　　大規(guī)模多層次文本分類研究是近幾年的研究熱點(diǎn)，自2009年下半年開始，研究人員對(duì)大規(guī)模多層次文本分類的研究技術(shù)非常重視，并且國(guó)際上經(jīng)常進(jìn)行研究成果的公開測(cè)試和分析，在2014年舉辦的大規(guī)模中文新聞分類評(píng)測(cè)中，綜合分析多家參賽

2、單位的分類技術(shù)成果，其中最好系統(tǒng)的分類性能都低于50％，這種結(jié)果不能滿足實(shí)際應(yīng)用的需求。因此，對(duì)于大規(guī)模多層次文本分類問題，高精度的多層次文本自動(dòng)分類技術(shù)非常有必要繼續(xù)深入研究。
　　本文首先在學(xué)習(xí)了大規(guī)模多層次分類問題處理策略的基礎(chǔ)上，采用扁平化的處理策略和化繁為簡(jiǎn)的方法。引入搜索、分類兩階段的處理思想，在搜索階段，結(jié)合類別層次樹的結(jié)構(gòu)特點(diǎn)和類別間的相關(guān)聯(lián)系等隱含的領(lǐng)域知識(shí)，進(jìn)行了類別層次權(quán)重分析和特征項(xiàng)的動(dòng)態(tài)更新，為類別層次樹

3、的各個(gè)節(jié)點(diǎn)構(gòu)建更具分類判斷力的特征項(xiàng)集合;進(jìn)而，采用深度優(yōu)先搜索算法并結(jié)合設(shè)定閾值的剪枝策略縮小搜索范圍，搜索得到待分類文本的最優(yōu)候選類別。最后在候選類別的基礎(chǔ)上應(yīng)用經(jīng)典的KNN平面分類算法進(jìn)行分類測(cè)試和對(duì)比分析。實(shí)驗(yàn)結(jié)果顯示，文中提出的改進(jìn)算法在分類實(shí)驗(yàn)中提高了平均F1值，分類效果比較理想。
　　其次，在學(xué)習(xí)研究本領(lǐng)域相關(guān)算法的基礎(chǔ)上，提出了基于中心向量的多級(jí)分類KNN分類算法，并應(yīng)用于大規(guī)模多層次文本分類的分類階段。該算法引入