基于統(tǒng)計(jì)方法的中文文本自動(dòng)分類研究.pdf

1、隨著信息技術(shù)的發(fā)展,人們已經(jīng)從信息缺乏的時(shí)代過(guò)渡到信息極為豐富的數(shù)字化的時(shí)代.如何從這些海量信息中迅速有效地獲得所需信息也就成為一項(xiàng)很重要的研究課題.為此目的,文本自動(dòng)分類被研究者提出并進(jìn)行了應(yīng)用研究.研究文本自動(dòng)分類具有重要意義,它可以大大的縮短了對(duì)資料的整理時(shí)間,為信息檢索提供方便,有利于現(xiàn)實(shí)文檔的存檔管理.該文主要是應(yīng)用統(tǒng)計(jì)的方法對(duì)文本自動(dòng)分類進(jìn)行理論和實(shí)踐的探討.我們的工作主要從以下方面進(jìn)行:1.探討了基于統(tǒng)計(jì)方法的文本自動(dòng)分類

2、的定義、常用模型和常用算法.2.討論了文本自動(dòng)分類器一般方法、步驟及有關(guān)技術(shù)細(xì)節(jié).3.在向量空間模型下,實(shí)現(xiàn)了向量距離加權(quán)算法、代表向量算法、中心向量算法構(gòu)造的三種分類器.對(duì)三種分類器分別以字、詞為特征進(jìn)行分類測(cè)試、分析發(fā)現(xiàn):①使用相同的分類算法,用詞作為特征項(xiàng),比以字作為特征的分類效果好;②用不同的算法構(gòu)造分類器對(duì)分類效果的影響很大,如中心向量算法在字、詞特征下的分類效果優(yōu)于其他兩算法;在以字為特征的情況下,該算法的平均查全率80.7

3、3％,平均查準(zhǔn)率82.94％;在以詞為特征的情況下,該算法的平均查全率83.6％,平均查準(zhǔn)率85.97％;③選用語(yǔ)料不同對(duì)分類效果也有影響,如用新浪網(wǎng)(www.sina.com.cn)網(wǎng)頁(yè)語(yǔ)料進(jìn)行測(cè)試,使用中心向量法分類器和詞作為特征的情況下,平均準(zhǔn)確率為89.31％,平均查全率為88.33％.4.基于改進(jìn)后的中心向量法重構(gòu)自動(dòng)分類器,測(cè)試取得了開放測(cè)試平均查全率90.35％、平均準(zhǔn)確率90.87％和封閉測(cè)試平均查全率98.36％、平均