中文文本分類算法研究.pdf

1、幾十年信息技術(shù)和網(wǎng)絡(luò)的發(fā)展,極大地方便了人們的交流和溝通,人類文明的發(fā)展得到了很大推動(dòng),但是技術(shù)的發(fā)展也帶來(lái)了信息海量式膨脹和有害信息等各種問題,如何在海量數(shù)據(jù)環(huán)境下有效地管理并快速地將所需的數(shù)據(jù)進(jìn)行分類,成為信息科學(xué)領(lǐng)域迫切需要解決的問題。隨著技術(shù)的發(fā)展,文本分類作為一門有著很大實(shí)用價(jià)值的獨(dú)立學(xué)科成長(zhǎng)了起來(lái),并在信息檢索、搜索引擎、輿情分析等領(lǐng)域得到了廣泛應(yīng)用。
　　 由于文本用向量空間模型表示存在維度高、稀疏性大的特點(diǎn),對(duì)于

2、文本的分類有一定的難度。信息增益是目前最為常用的文本特征選擇方法,但是對(duì)于非平衡集的分類效果不佳。支持向量機(jī)是最適合文本分類的方法,但是支持向量機(jī)目前仍然存在復(fù)雜度較高、花費(fèi)時(shí)間較長(zhǎng)、對(duì)參數(shù)敏感性較強(qiáng)等問題,在實(shí)際應(yīng)用中仍在存在著一些難題。本文針對(duì)上述問題做了如下工作:
　　 總結(jié)分析了文本分類的研究背景和相關(guān)技術(shù);研究了特征選擇方法和支持向量機(jī)的基礎(chǔ)理論并總結(jié)了它們目前依然存在的問題;針對(duì)信息增益沒有考慮特征項(xiàng)分布信息而導(dǎo)致的