基于關(guān)聯(lián)規(guī)則的中文文本自動(dòng)分類算法研究.pdf

1、面對(duì)浩如煙海的電子信息，如何幫助人們有效地收集和選擇感興趣的信息，如何幫助用戶在日益增多的信息中發(fā)現(xiàn)潛在有用的知識(shí)已成為信息技術(shù)領(lǐng)域的熱點(diǎn)問(wèn)題。數(shù)據(jù)挖掘就是為解決這一問(wèn)題而產(chǎn)生的研究領(lǐng)域。自90年代產(chǎn)生以來(lái)，對(duì)數(shù)據(jù)挖掘的研究已經(jīng)比較深入，研究范圍涉及到關(guān)聯(lián)分析、分類分析、聚類分析、趨勢(shì)分析等多個(gè)方面。由于現(xiàn)實(shí)生活中絕大部分信息資源是以非結(jié)構(gòu)化數(shù)據(jù)的形式存在，而數(shù)據(jù)挖掘則普遍以結(jié)構(gòu)化數(shù)據(jù)如關(guān)系數(shù)據(jù)庫(kù)中的數(shù)據(jù)為對(duì)象，因此如何對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)

2、行挖掘成為了一個(gè)重要的研究課題。 在常見(jiàn)的非結(jié)構(gòu)化數(shù)據(jù)如文本、圖象、視頻中，文本數(shù)據(jù)是應(yīng)用最為廣泛的一種形式，常用于數(shù)字圖書館、產(chǎn)品目錄、新聞組、醫(yī)學(xué)報(bào)告、組織及個(gè)人主頁(yè)。在自然語(yǔ)言理解、文本自動(dòng)摘要、信息提取、信息過(guò)濾、信息檢索等領(lǐng)域，文本挖掘技術(shù)都有著廣泛的應(yīng)用，因而在數(shù)據(jù)挖掘領(lǐng)域具有較高的商業(yè)價(jià)值。 本文以文本數(shù)據(jù)為研究對(duì)象，對(duì)文本關(guān)聯(lián)分類進(jìn)行研究，主要包括文本特征提取、選擇、表示和文本關(guān)聯(lián)分析、文本關(guān)聯(lián)分類，并提

3、出更有效的文本關(guān)聯(lián)分類算法。本文的研究工作和創(chuàng)新內(nèi)容包括以下幾個(gè)方面： ①特征選擇、向量空間表示方法研究目前文本分類中常用的文檔表示方法主要有布爾矩陣、詞頻矩陣等表示形式。采用布爾矩陣表示文檔向量，優(yōu)點(diǎn)在于表示方式簡(jiǎn)潔且計(jì)算效率比較高，缺點(diǎn)在于只是考慮特征在文檔中出現(xiàn)與否會(huì)使得表示不夠精確；而使用詞頻向量表示雖然表達(dá)比較精確，但簡(jiǎn)潔性相對(duì)較低，生成向量空間需要更多的計(jì)算。本文提出特征權(quán)重閾值的方法來(lái)更加準(zhǔn)確的表示文本向量空間，從

4、而改善文本分類質(zhì)量。 ②文本關(guān)聯(lián)分析的研究文本關(guān)聯(lián)分析中，由于文本集具有高維稀疏的特性，采用Apriori等傳統(tǒng)的關(guān)聯(lián)挖掘算法效率比較低，而采用Fp-growth等算法又會(huì)使得其挖掘Fp-tree時(shí)遞歸的次數(shù)比較多，另外，傳統(tǒng)的關(guān)聯(lián)挖掘需要自己指定最小支持度閾值，這在文本關(guān)聯(lián)挖掘中需要反復(fù)摸索實(shí)驗(yàn)，不好確定。針對(duì)以上不足，本文提出根據(jù)文本訓(xùn)練集規(guī)模動(dòng)態(tài)調(diào)整與COFI-tree壓縮結(jié)構(gòu)相結(jié)合的DL-COFI算法，該算法可以先根據(jù)訓(xùn)

5、練文檔規(guī)模動(dòng)態(tài)確定L的值，再利用COFI算法進(jìn)行挖掘，動(dòng)態(tài)確定全局最頻繁的L個(gè)規(guī)則。 ③綜合置信度與支持度對(duì)未知文檔分類傳統(tǒng)的CBA、ARC等分類算法對(duì)修剪策略與分類預(yù)測(cè)均考慮得不夠全面，在修剪策略方面，很多方法均不能取得滿意的效果，本文結(jié)合了兩種常用修剪策略的優(yōu)點(diǎn)，提出超規(guī)則-J-Measure算法；在對(duì)測(cè)試文檔分類方面，CBA只考慮覆蓋樣本的第一條規(guī)則，ARC只考慮計(jì)算覆蓋文檔某個(gè)類的置信度之和，雖然有綜合考慮置信度與支持度