中文Web文本分類關(guān)鍵技術(shù)研究與實(shí)現(xiàn).pdf

1、隨著信息處理技術(shù)和計(jì)算機(jī)網(wǎng)絡(luò)的普及，Internet上的Web頁(yè)面數(shù)量呈指數(shù)增長(zhǎng)，為了快速、方便地處理這些信息，Web文本自動(dòng)分類技術(shù)應(yīng)運(yùn)而生，并且已經(jīng)成為信息檢索和文本數(shù)據(jù)挖掘領(lǐng)域的一個(gè)研究熱點(diǎn)。
　　本文在對(duì)國(guó)內(nèi)外文本自動(dòng)分類系統(tǒng)分析研究的基礎(chǔ)上，從文本分類知識(shí)的自動(dòng)獲取到分類器設(shè)計(jì)，詳細(xì)地討論了中文Web文本分類系統(tǒng)中影響分類結(jié)果的幾個(gè)關(guān)鍵技術(shù)，并且深入研究了如何提高中文Web文本分類的精度、速度和穩(wěn)定性，最終實(shí)現(xiàn)了一個(gè)中文

2、Web文本分類系統(tǒng)。首先本系統(tǒng)利用MapReduce原理對(duì)大量Web文本進(jìn)行并行化預(yù)處理，然后利用改進(jìn)的向量空間模型表示特征，同時(shí)通過對(duì)文本特征的提取方法研究，提出了一種新的聯(lián)合特征提取方法，在分類器設(shè)計(jì)方面，利用改進(jìn)的獨(dú)立分量分析算法提升了樸素貝葉斯分類器的性能，另外為了提高系統(tǒng)的整體分類性能，本文實(shí)現(xiàn)了將SVM分類器和改進(jìn)的Bayes分類器集成到一個(gè)系統(tǒng)中，構(gòu)造多分類器引擎，獲得了比單個(gè)分類器更好的分類性能。通過在該系統(tǒng)上的大量評(píng)估