摘錄式單文檔中文自動(dòng)文摘系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、在當(dāng)今信息爆炸的時(shí)代,人們面對(duì)著大量沒有經(jīng)過整理的原始數(shù)據(jù)時(shí),將會(huì)茫然不知所措,而自動(dòng)文摘技術(shù)能給人們提供更有力的信息加工技術(shù)和工具,但時(shí)下出現(xiàn)的自動(dòng)文摘系統(tǒng),特別是中文自動(dòng)文摘系統(tǒng)并沒有取得很好的效果,故本論文對(duì)中文自動(dòng)文摘系統(tǒng)進(jìn)行了研究。本論文提出的摘錄式單文檔中文自動(dòng)文摘系統(tǒng)以單篇純文本文檔作為輸入,自動(dòng)地抽取全面準(zhǔn)確地反映文檔中心內(nèi)容的句子組成文檔的摘要。本系統(tǒng)首先采用分詞工具ICTCLAS對(duì)文檔進(jìn)行分詞和詞性標(biāo)注:然后采用TF

2、C權(quán)值對(duì)分詞后的文檔建立向量空間模型,抽取句子的特征;接著采用樸素貝葉斯分類算法自動(dòng)學(xué)習(xí)特征組合的方式和參數(shù),將摘要轉(zhuǎn)化成分類問題;最后根據(jù)分類結(jié)果,抽取文摘句組成文檔的摘要。本論文首先對(duì)自動(dòng)文摘技術(shù)進(jìn)行綜述:其次,介紹摘錄式單文檔中文自動(dòng)文摘系統(tǒng)的總體設(shè)計(jì),包括中文分詞、文本分析、文本轉(zhuǎn)換及文本合成四大模塊的設(shè)計(jì);再次,介紹摘錄式單文檔中文自動(dòng)文摘系統(tǒng)的實(shí)現(xiàn);最后,介紹系統(tǒng)性能評(píng)估的各個(gè)參數(shù)指標(biāo),并使用weka及30篇不同體裁的文檔對(duì)