基于SOM的文本聚類模型研究.pdf

1、隨著信息科技的日益發(fā)展,人們所能得到的信息在飛速增長。為了使各種資源能夠及時的被用戶發(fā)掘,搜索引擎已經成為了人們日常生活中必不可少的工具。雖然目前主流的文字搜索引擎都是基于內容的檢索,但在實際實施時,它們往往沒有從語義的層面處理文本信息。所以,搜索引擎在針對某個查詢返回的結果中往往包含了許多并非用戶真正需要的信息?；谶@種考慮,對搜索引擎返回的結果進行再次分析,挖掘出返回結果中包含的各種主題信息,將會大大的提升用戶體驗。
　　自組

2、織映射(Self-Organizing Map,SOM)屬于人工神經網絡的范疇。它不僅能夠準確、高效對文本信息進行聚類,而且可以將高維的文本信息映射到用戶可直觀理解的低維空間中。通過一定的學習規(guī)則,SOM網絡能夠發(fā)掘文本集合中潛在的模式,并將這些模式展現在訓練穩(wěn)定的神經元中。對于原始空間中相似的文本,將被映射到鄰近的神經元上。對于相異的文本,則被映射到疏遠的神經元上。從而保持了文本集合在原始空間中的拓撲結構。但原有的SOM模型中沒有考慮

3、文本集合中語義層面的相似性。因此,在原始的SOM模型中引入狄利克雷分布(Latent Dirichlet Allocation,LDA)模型。LDA模型是一個典型的三層貝葉斯模型,能夠完整的描述文檔集合的生成過程。通過LDA模型,能夠得到文檔在給定數目主題上的分布和主題在文檔集合的詞匯表上的分布。將LDA模型得到的主題作為輸入空間的維度,訓練SOM神經元的連接權向量。最后,當網絡穩(wěn)定后,即可得到基于語義層面的文檔集合的聚類效果。此時,各