基于偽文檔的潛在語義索引優(yōu)化技術(shù)的研究.pdf

1、自然語言中普遍存在著同義詞和多義詞現(xiàn)象，致使人們很難通過以詞形匹配的關(guān)鍵詞檢索尋找到真正需要的網(wǎng)絡(luò)資源。潛在語義索引通過奇異值分解將同義詞映射到潛在語義空間的同一維度上，同時將多義詞映射到不同的維度上，進(jìn)而在一定程度上解決了一詞多義和多詞一義的現(xiàn)象。潛在語義索引與其它基于概念詞典的方法相比，具有可計算性強(qiáng)，領(lǐng)域適應(yīng)能力強(qiáng)的優(yōu)點(diǎn)，并已成為了自然語言處理領(lǐng)域中的研究熱點(diǎn)。
　　本文的研究工作是通過強(qiáng)化合理的特征共現(xiàn)信息來提高潛在語義空

2、間中特征向量和文檔向量的準(zhǔn)確度，進(jìn)而提高系統(tǒng)的性能。基于以上的想法，本文提出了基于偽文檔的潛在語義索引的優(yōu)化框架，所謂偽文檔即是通過對原始文檔集合進(jìn)行有指導(dǎo)地組織而形成的新的文檔。同時，本文在基于偽文檔的優(yōu)化框架的基礎(chǔ)上提出了兩種優(yōu)化策略：基于語義塊的優(yōu)化方法及基于語義資源的優(yōu)化方法。
　　針對潛在語義索引以文檔窗口為傳遞窗口造成的特征相關(guān)度不準(zhǔn)確的問題，本文提出了基于語義塊的優(yōu)化方法。該方法是通過對原始文檔集合有指導(dǎo)地分割，將語

3、義相近的特征劃分到同一個語義塊單元中，從而加強(qiáng)了語義相關(guān)特征的相關(guān)性，最終優(yōu)化了潛在語義空間中的代表特征和文檔的向量。
　　同時，在應(yīng)用潛在語義索引的過程中，生成潛在語義空間的整個過程是完全無指導(dǎo)的，使得語義空間中的表達(dá)特征和文檔的向量不夠準(zhǔn)確?；谡Z義資源的優(yōu)化方法通過將人的先驗知識融入到原始的文檔集合中，有指導(dǎo)地強(qiáng)化了同義特征之間的相關(guān)度，最終使得潛在語義空間中表達(dá)特征和文檔的向量更加準(zhǔn)確。
　　最終，本文開發(fā)了“基于潛