文本分類在電子政務(wù)平臺中的應(yīng)用與研究.pdf

1、隨著web技術(shù)和信息技術(shù)的快速發(fā)展，如何從結(jié)構(gòu)來源復(fù)雜的數(shù)據(jù)海洋中進(jìn)行信息抽取和信息檢索一個困難而又有重要實(shí)際用途的研究課題。文本分類能夠有效處理和組織文本數(shù)據(jù)，方便快速、準(zhǔn)確地定位所需的信息。本文主要對文本分類及其相關(guān)技術(shù)做了分析，并就如何將文本分類技術(shù)更好的用于決策支持做了研究。
　　 本研究主要內(nèi)容包括：首先闡述了文本分類的過程和相關(guān)技術(shù)，包括文本預(yù)處理、中文分詞、向量空間模型、特征項(xiàng)選擇、特征項(xiàng)權(quán)重計(jì)算等。在經(jīng)典TF-I

2、DF的基礎(chǔ)上，結(jié)合特征詞在類別間的分布情況，改進(jìn)了IDF的算法，并進(jìn)一步利用信息增益和類內(nèi)信息分布熵因子修正TF-IDF算法的不足，提高文本表示的準(zhǔn)確度。提出了基于信息增益權(quán)值的文本分類算法。該算法的主要思想:如果特征詞在新的文本中出現(xiàn)，則計(jì)算特征詞對于特征詞在文本空間的信息增益的貢獻(xiàn)度，貢獻(xiàn)度最大的類別就是文本的所屬類別。本文提出的可拔插文本分類系統(tǒng)，以文本分類為基礎(chǔ)，自動、半自動的將分類系統(tǒng)分離出應(yīng)用系統(tǒng)，并通過可插拔配置方式部署到