基于語義相似度的WEB結(jié)構(gòu)挖掘研究及實現(xiàn).pdf

1、目前，Internet/Web技術(shù)逐漸趨于成熟，Web已經(jīng)成為人們的重要信息來源之一。但在提供豐富的信息資源的同時，它所具有的數(shù)據(jù)半結(jié)構(gòu)化或非結(jié)構(gòu)化、數(shù)據(jù)海量、實時的動態(tài)性以及用戶的多態(tài)性等特點也給Web資源的使用造成了一定的難度。因此，將數(shù)據(jù)挖掘技術(shù)和Web特性結(jié)合起來，在浩瀚的信息資源中快捷、準確地檢索到人們需要的信息，已成為一項迫切而有意義的研究課題。 本文以體現(xiàn)網(wǎng)頁鏈接結(jié)構(gòu)關(guān)系的當代經(jīng)典PageRank算法為對象，深入分

2、析其基本思想并指出其對網(wǎng)頁評分時存在的不足。PageRank算法主要缺陷是將PageRank值在所有的出鏈接上進行平均分配，而實際上每個鏈接的重要性和鏈接之間的相關(guān)性都是有差異的。它完全忽略了網(wǎng)頁內(nèi)容的語義信息，很容易受到無關(guān)鏈接的影響，降低了搜索結(jié)果的用戶滿意度。 針對上述缺陷，本文通過引入基于《知網(wǎng)》的語義相似度，使鏈接錨文本的質(zhì)量和其所指向網(wǎng)頁的內(nèi)容產(chǎn)生聯(lián)系。融入出鏈接與目標網(wǎng)頁主題相似度信息，使得那些沒有價值的頁面，或者

3、主題不相關(guān)的網(wǎng)頁分得較少的PageRank值，提升了真正與主題相關(guān)、有價值的頁面的PageRank值。據(jù)此更加精確的體現(xiàn)各個鏈接之間的競爭。 最后實現(xiàn)了一個模擬的搜索引擎。該模擬系統(tǒng)幾乎包含了搜索引擎的全部基本功能。并且在互聯(lián)網(wǎng)真實環(huán)境下進行測試，對融入語義相似度的PageRank算法進行驗證。通過實驗和分析，新的算法在不影響原算法的優(yōu)點和效率的情況下能更好地對網(wǎng)頁進行評分，提升了用戶滿意度。它在網(wǎng)頁優(yōu)先級算法上向人工智能和語義