WEB日志過(guò)濾技術(shù)的研究與實(shí)現(xiàn).pdf

1、隨著Internet的迅速發(fā)展和不斷普及，Web日志資源越來(lái)越多，而如何利用這些海量數(shù)據(jù)來(lái)更好的為用戶服務(wù)成為當(dāng)今的研究熱題。Web日志挖掘把傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)應(yīng)用到Web日志中，獲取網(wǎng)站使用情況的有價(jià)值模式，應(yīng)用于個(gè)性化服務(wù)、網(wǎng)站設(shè)計(jì)和商業(yè)決策等方面。而數(shù)據(jù)預(yù)處理在Web日志挖掘過(guò)程中起著至關(guān)重要的作用，其中本文提到的Web日志過(guò)濾技術(shù)屬于數(shù)據(jù)預(yù)處理的一種。
　　Web日志過(guò)濾技術(shù)是指對(duì)用戶瀏覽網(wǎng)站所留下的訪問(wèn)記錄，即Web日志

2、進(jìn)行過(guò)濾，其目的是要過(guò)濾掉那些不能體現(xiàn)用戶興趣的日志記錄，如圖片信息、網(wǎng)站主頁(yè)導(dǎo)航頁(yè)等，而留下那些可以體現(xiàn)用戶興趣的記錄。為了實(shí)現(xiàn)Web日志過(guò)濾技術(shù)本文中提出了兩種方法，一種是基于鏈接規(guī)則的日志過(guò)濾技術(shù)，另一種是基于網(wǎng)頁(yè)內(nèi)容的日志過(guò)濾技術(shù)。
　　基于鏈接規(guī)則的過(guò)濾技術(shù)是在對(duì)日志記錄進(jìn)行詳細(xì)分類基礎(chǔ)上，人工校對(duì)每種鏈接是否包含用戶興趣，然后對(duì)那些包含用戶興趣的鏈接，根據(jù)鏈接特點(diǎn)生成過(guò)濾規(guī)則進(jìn)行過(guò)濾。其特點(diǎn)是準(zhǔn)確，速度快，但是缺點(diǎn)是統(tǒng)

3、計(jì)日志記錄以及人工校對(duì)效率低，且生成的規(guī)則隨著網(wǎng)站結(jié)構(gòu)變化易失效。
　　基于網(wǎng)頁(yè)內(nèi)容的過(guò)濾技術(shù)是指對(duì)日志記錄中URL對(duì)應(yīng)的網(wǎng)頁(yè)進(jìn)行文本分類，來(lái)判斷其是否包含用戶興趣，予以過(guò)濾，這是本文的主要內(nèi)容。其主要包括網(wǎng)頁(yè)結(jié)構(gòu)信息的KNN分類和網(wǎng)頁(yè)正文信息的SVM分類兩個(gè)部分，最后根據(jù)兩個(gè)分類器的結(jié)果進(jìn)行判斷?；诰W(wǎng)頁(yè)內(nèi)容的日志過(guò)濾雖然在過(guò)濾階段效率上不如基于鏈接規(guī)則的日志過(guò)濾，但是它可以解決基于規(guī)則過(guò)濾的人工校對(duì)效率低和易失效的缺點(diǎn)，并且擁