基于類別概念的中文文本分類研究.pdf

1、網(wǎng)絡(luò)技術(shù)的發(fā)展和Intemet的開放性使它逐步成為一個(gè)全方位的資源寶庫，越來越多的信息通過互聯(lián)網(wǎng)被傳送到世界各地，互聯(lián)網(wǎng)中也積聚了越來越多的信息，從發(fā)展的趨勢(shì)來看，網(wǎng)絡(luò)必將成為人們獲取信息的主要來源。但互聯(lián)網(wǎng)的組織雜亂，缺乏必要的條理，多且雜的信息使得人們從中獲取自己感興趣的內(nèi)容變得越來越困難。 從大量的數(shù)據(jù)中挖掘出有用的信息是數(shù)據(jù)挖掘的任務(wù)。文本作為互聯(lián)網(wǎng)上主要的信息載體，隨著互聯(lián)網(wǎng)的迅速發(fā)展，文本挖掘也成為數(shù)據(jù)挖掘的熱點(diǎn)之一

2、。文本分類技術(shù)是文本挖掘的基礎(chǔ)和核心。 文本分類的方法包括人工分類和自動(dòng)分類。傳統(tǒng)的文本分類是基于人工方式的，這種方式缺點(diǎn)很多，如周期長(zhǎng)、費(fèi)用高、效率低、需要大量專業(yè)人員以及分類結(jié)果的一致性低等。20世紀(jì)90年代以后，基于機(jī)器學(xué)習(xí)的文本自動(dòng)分類方法越來越成為主流。相比于人工方式，它具有周期短，效率高，節(jié)省人力資源，分類結(jié)果一致性高等優(yōu)點(diǎn)。但文本自動(dòng)分類研究開展以來，準(zhǔn)確率一直不能達(dá)到令人滿意的效果。在Intemet信息急劇膨脹的

3、今天，為文本分類提供了廣闊的發(fā)展空間，文本自動(dòng)分類面臨前所未有的機(jī)遇和挑戰(zhàn)，如何提高分類準(zhǔn)確率成為研究熱點(diǎn)。 向量空間模型是文本自動(dòng)分類應(yīng)用最廣泛的模型之一，以向量空間模型為基礎(chǔ)，我們研究發(fā)現(xiàn)，對(duì)文本的合理向量表示是實(shí)現(xiàn)正確分類非常關(guān)鍵的前提，而傳統(tǒng)分類方法中，特征選擇算法各有優(yōu)劣，選擇出的特征不能很好地代表文本，這在很大程度上制約了文本分類的準(zhǔn)確率。我們以此為出發(fā)點(diǎn)，分析特征項(xiàng)應(yīng)當(dāng)具備的條件，并提出了基于類別概念的特征選擇方法