基于Web挖掘的網(wǎng)站邏輯結(jié)構(gòu)生成系統(tǒng).pdf

1、隨著單個(gè)web站點(diǎn)的日益龐大，web超鏈結(jié)構(gòu)的日趨復(fù)雜，傳統(tǒng)的建立在單個(gè)網(wǎng)頁(yè)和單純超鏈結(jié)構(gòu)上的web模型已很難適應(yīng)基于各種不同應(yīng)用需求的web分析。為有效解決web分析所需知識(shí)的表示、應(yīng)用與獲取問(wèn)題，新的web模型應(yīng)能充分體現(xiàn)網(wǎng)頁(yè)間的邏輯關(guān)聯(lián)信息以及網(wǎng)站內(nèi)部的組織結(jié)構(gòu)特征。本文首先建立了一種新的web站點(diǎn)邏輯結(jié)構(gòu)模型，然后提出了三種web邏輯結(jié)構(gòu)挖掘算法并實(shí)現(xiàn)了一個(gè)完整的web站點(diǎn)邏輯結(jié)構(gòu)自動(dòng)生成系統(tǒng)。在實(shí)驗(yàn)部分，通過(guò)對(duì)當(dāng)前幾個(gè)大型的知

2、名web站點(diǎn)進(jìn)行實(shí)際測(cè)試，以及與wen syan li等人的經(jīng)典算法進(jìn)行對(duì)比測(cè)試，表明算法在精度上能夠達(dá)到較好的水平，而在效率上則有明顯優(yōu)勢(shì)。本文所作的工作主要有以下幾點(diǎn)： (1) 提出了建立在web站點(diǎn)邏輯域及其導(dǎo)入路徑之上的web站點(diǎn)邏輯結(jié)構(gòu)模型。 (2) 以上述模型為最終目標(biāo)，提出了兩種邏輯域挖掘算法和一種邏輯域?qū)肼窂酵诰蛩惴?，分別是：基于網(wǎng)頁(yè)分塊聚類和基于邏輯域核的web站點(diǎn)邏輯域挖掘算法以及基于啟發(fā)式規(guī)則的邏

3、輯域?qū)肼窂酵诰蛩惴ā?(3) 以上述算法為基礎(chǔ)，設(shè)計(jì)并實(shí)現(xiàn)了web站點(diǎn)邏輯結(jié)構(gòu)自動(dòng)生成系統(tǒng)。該系統(tǒng)能夠自動(dòng)從給定站點(diǎn)的入口地址，抓取回指定數(shù)量的網(wǎng)頁(yè)。對(duì)取回的網(wǎng)頁(yè)，生成其基于超鏈拓?fù)浣Y(jié)構(gòu)的有向圖和儲(chǔ)存每個(gè)網(wǎng)頁(yè)相關(guān)信息的網(wǎng)頁(yè)信息庫(kù)，并以這兩個(gè)數(shù)據(jù)結(jié)構(gòu)為基礎(chǔ)，通過(guò)運(yùn)行上述算法，最終得到web站點(diǎn)的整體邏輯結(jié)構(gòu)。 (4) 考慮到算法的可用性，在算法的效率上也進(jìn)行了較深入的研究。對(duì)耗時(shí)最多的基于邏輯域核的挖掘算法，其時(shí)間復(fù)雜度