改進TFIDF和譜分割的關鍵詞自動抽取方法研究.pdf

1、關鍵詞是指文檔中具有專指性且能夠反映文檔主題的詞語或短語。采用自動化技術從文檔中抽取出關鍵詞的過程稱為關鍵詞自動抽取。關鍵詞自動抽取是文本自動處理中分類、檢索和文摘等工作的基礎與關鍵技術之一。
　　 按照理論依據(jù)不同，關鍵詞抽取的方法可以分為：統(tǒng)計分析、語言分析和人工智能等方法。關鍵詞抽取的統(tǒng)計分析方法根據(jù)統(tǒng)計信息計算詞語或短語的權重，從中抽取權重大的若干詞語或短語為關鍵詞。TFIDF(Term Frequency& Inver

2、seDocumentation Frequency)算法是一種應用較廣的權重計算統(tǒng)計分析方法。該算法選用詞語或短語的頻率TF與反文檔頻率IDF的乘積來表示特征項的權值。完全基于詞頻的傳統(tǒng)TFIDF算法可能出現(xiàn)兩類現(xiàn)象：有些不能代表文檔主題的低頻詞IDF值卻很高；有些能夠很好地代表文檔主題的高頻詞IDF值卻很低。本文綜合考慮詞語或短語的詞頻、詞性、詞長以及在文檔中出現(xiàn)的位置，設計了一種改進的TFIDF算法。
　　 詞語同現(xiàn)頻率是關

3、鍵詞抽取統(tǒng)計分析方法中的一個重要的信息。單純地利用候
　　 選關鍵詞的同現(xiàn)頻率加權計算候選關鍵詞的權重，進行關鍵詞的抽取，效果不佳。為了進一步提高關鍵詞抽取的準確性，本文將基于圖像分類的譜分割方法應用于關鍵詞抽取，設計了基于譜分割的關鍵詞抽取方法。其主要思路是首先對文本中的候
　　 選關鍵詞基于詞語同現(xiàn)頻率建立相似圖，使用譜分割方法對圖中候選關鍵詞進行分類，統(tǒng)計候選關鍵詞所在分類的詞語總數(shù)，根據(jù)候選關鍵詞的改進TFIDF

4、值和候選
　　 關鍵詞所在類的詞語總數(shù)計算候選關鍵詞的權重，排序后權重值較大的若干候選關鍵詞即為抽取的關鍵詞。
　　 論文選用“中國論文下載中心”(http：//www.studa.net/)的民法、科技和經(jīng)濟三類的論文各100篇作為實驗的數(shù)據(jù)集。分別用基于傳統(tǒng)的TFIDF方法、基于改進的TFIDF方法和基于譜分割方法抽取關鍵詞。實驗結(jié)果表明改進的TFIDF方法關鍵詞抽取的準確率、召回率和F1值明顯高于傳統(tǒng)的TFIDF方