基于支持向量機(jī)的文本分類在并行環(huán)境中的性能分析及應(yīng)用.pdf

1、文本分類是指按照預(yù)先定義的主題類別，根據(jù)文檔集合中的每個(gè)文檔的內(nèi)容，自動(dòng)地分類到預(yù)先設(shè)定的類型集合中，使其對(duì)應(yīng)類型集合中的某一類別或者某幾個(gè)類別。由于這些類別是可以重疊的，所以每一類可以作為一個(gè)單獨(dú)的兩類分類問題。 近十年來人類已經(jīng)處于一個(gè)信息極其豐富的時(shí)代，報(bào)紙、電視、雜志、Internet 等多種傳播媒體將各種各樣大量的信息呈現(xiàn)在人們的面前。隨著計(jì)算機(jī)技術(shù)、通訊技術(shù)、網(wǎng)絡(luò)技術(shù)的飛速發(fā)展以及互聯(lián)網(wǎng)技術(shù)應(yīng)用的日益普及，以電子形式

2、存在的數(shù)據(jù)的總量急劇增長。一方面，網(wǎng)上信息的多樣性和多變性導(dǎo)致信息過度膨脹，另一方面，用戶卻找不到所需要的信息，在這樣一個(gè)動(dòng)態(tài)變化的環(huán)境下對(duì)各種文本信息進(jìn)行收集、分析、分類、評(píng)價(jià)并提供有效的信息分類服務(wù)就成為一個(gè)研究熱點(diǎn)。 本論文主要研究的是目前分類效果最好的支持向量機(jī)，利用現(xiàn)有的串行程序進(jìn)行相關(guān)的并行化設(shè)計(jì)，按照現(xiàn)有的能力和條件進(jìn)行并行化效率的分析，找出解決文本分類效率隨分類問題規(guī)模增大而下降問題的方法和為組建并行環(huán)境的硬件最

3、佳配置提供參考是本論文的目的。 本文的主要工作和結(jié)論： 1．模型并行化的探索，對(duì)目前文本分類效果最好的支持向量機(jī)進(jìn)行并行化，實(shí)現(xiàn)文本分類中訓(xùn)練和測(cè)試計(jì)算效率的提高； 2．并行化的效率優(yōu)化，對(duì)文本分類算法進(jìn)行相關(guān)的并行化設(shè)計(jì)和實(shí)現(xiàn)，根據(jù)現(xiàn)有的實(shí)驗(yàn)環(huán)境進(jìn)行并行化效率的分析，找出并行環(huán)境最佳配置； 3．并行算法效率與并行環(huán)境存在著依賴，根據(jù)并行環(huán)境的系統(tǒng)特點(diǎn)，運(yùn)行過程中的通信開銷在很大的程度上決定了并行分類的