特定領(lǐng)域文本分類系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著信息技術(shù)的迅速發(fā)展，各種學(xué)科的信息也在隨之迅速膨脹，人們迫切需要這些特定領(lǐng)域的信息檢索與管理工具，特定領(lǐng)域文本分類成為當(dāng)前研究熱點(diǎn)。目前，特定領(lǐng)域文本分類主要是在傳統(tǒng)文本分類的基礎(chǔ)上，利用已有的特定領(lǐng)域知識(shí)庫(kù)擴(kuò)展文檔特征。如何提取領(lǐng)域相關(guān)特征是其主要難點(diǎn)之一。 本文綜述了現(xiàn)有特定領(lǐng)域文本分類系統(tǒng)，詳細(xì)介紹了特定領(lǐng)域文本分類系統(tǒng)的設(shè)計(jì)思想與實(shí)現(xiàn)細(xì)節(jié)，設(shè)計(jì)并實(shí)現(xiàn)了一套特定領(lǐng)域文本分類系統(tǒng)，針對(duì)如何提取領(lǐng)域相關(guān)特征的問(wèn)題，提出了一

2、種基于領(lǐng)域相關(guān)術(shù)語(yǔ)提取的特征選擇方法，改進(jìn)了術(shù)語(yǔ)提取方法，并且分析了各系統(tǒng)組成部分。本文的工作主要包括： ·本文綜述了現(xiàn)有特定領(lǐng)域文本分類系統(tǒng)，提出了特定領(lǐng)域文本分類系統(tǒng)的體系結(jié)構(gòu)。 ·本文提出了一種基于領(lǐng)域相關(guān)術(shù)語(yǔ)提取的特征選擇方法，該方法具有以下優(yōu)點(diǎn)：(1)提取出來(lái)的特征與領(lǐng)域密切相關(guān)，提高了分類效果；(2)大大降低了特征空間維數(shù)，提高了系統(tǒng)運(yùn)行性能；(3)由于該方法使用基于語(yǔ)料庫(kù)對(duì)比的術(shù)語(yǔ)提取方法，不依賴任何特定領(lǐng)

3、域知識(shí)庫(kù)，從而使系統(tǒng)具有很強(qiáng)的通用性，能輕松應(yīng)用于各個(gè)領(lǐng)域。 ·本文根據(jù)詞語(yǔ)搭配分布，改進(jìn)了傳統(tǒng)的基于語(yǔ)料庫(kù)對(duì)比的術(shù)語(yǔ)提取方法，使術(shù)語(yǔ)提取方法兼顧了對(duì)語(yǔ)言結(jié)構(gòu)的分析。 ·本文詳細(xì)分析了預(yù)處理、特征選擇、二級(jí)分類器等系統(tǒng)組成部分對(duì)分類效果及系統(tǒng)性能的影響。 ·本文設(shè)計(jì)并實(shí)現(xiàn)了一套具有很強(qiáng)通用性的特定領(lǐng)域文本分類系統(tǒng)，該系統(tǒng)參加了TREC2005Genomics項(xiàng)目Categorization任務(wù)的評(píng)測(cè)，在四個(gè)子任務(wù)