結(jié)合聚類的潛在語義檢索算法研究.pdf

1、潛在語義分析(LatentSemanticAnalysis，LSA)是一種通過統(tǒng)計分析挖掘出文檔和詞語之間潛在含義的經(jīng)典算法，最初用于解決信息檢索中的多義詞問題。潛在語義分析使用傳統(tǒng)的向量空間模型來表示詞語和文檔之間的關(guān)系，應(yīng)用SVD矩陣分解技術(shù)對原始的語義空間進行壓縮，將潛在的語義顯現(xiàn)出來。然而在實際應(yīng)用中，潛在語義分析在計算效率和存儲代價方面存在不足，不能有效地應(yīng)用在大規(guī)模的數(shù)據(jù)集上。針對該問題，本文提出了兩種結(jié)合聚類的潛在語義檢索

2、算法(Clus-LSA和LINK-LSA)：兩種算法都是通過利用文檔之間的結(jié)構(gòu)關(guān)系對文檔進行聚類，成倍降低文檔的個數(shù)；將簇代替文檔進行LSA過程；最后將簇還原成文檔完成檢索過程。不同之處在于Clus-LSA利用的是文檔自身的引用信息，而LINK-LSA則利用了文檔的其他共同屬性鏈接。在實驗分析中發(fā)現(xiàn)，算法不僅降低了時間和空間的代價，同時還利用到了文檔之間的結(jié)構(gòu)信息。從某種角度而言，檢索的結(jié)果既有文本的內(nèi)容信息，同時還加入了文檔的結(jié)構(gòu)信息