web流數(shù)據(jù)聚類挖掘的研究和應(yīng)用.pdf

1、流數(shù)據(jù)逐漸成為近年來較為重要的數(shù)據(jù)類型，流數(shù)據(jù)是大量、快速、時(shí)變、不可預(yù)知，流數(shù)據(jù)的查詢結(jié)果是近似的，僅能反映數(shù)據(jù)的總體特征。因此流數(shù)據(jù)中的數(shù)據(jù)查詢處理技術(shù)需要被重新考慮，這開拓了一個(gè)嶄新的研究方向。另外，互聯(lián)網(wǎng)的發(fā)展，使得web站點(diǎn)必須根據(jù)用戶的興趣、訪問頻度、訪問時(shí)間而動(dòng)態(tài)地調(diào)整頁(yè)面結(jié)構(gòu)，以滿足用戶的需求。數(shù)據(jù)挖掘不僅僅是獲取信息的過程，更關(guān)注發(fā)現(xiàn)潛在有用的知識(shí)。數(shù)據(jù)挖掘技術(shù)應(yīng)用到web流數(shù)據(jù)的分析中，將提高了web流數(shù)據(jù)查詢的可實(shí)

2、用性。而如何在流數(shù)據(jù)中進(jìn)行有效聚類，是一個(gè)吸引研究者很大注意力的問題。 本文主要研究了web流數(shù)據(jù)聚類挖掘問題。首先，研究了web流數(shù)據(jù)聚類挖掘算法。目前的典型流數(shù)據(jù)聚類算法，它們時(shí)間復(fù)雜度低、時(shí)效性好，具有好的可擴(kuò)展性，但都是基于歐氏空間的算法，只能適用于純數(shù)值屬性數(shù)據(jù)，不能適用于混合屬性的數(shù)據(jù)，而web應(yīng)用領(lǐng)域中的數(shù)據(jù)往往具有混合屬性。本文提出了一種非歐氏空間流數(shù)據(jù)聚類技術(shù)：對(duì)web流數(shù)據(jù)的分析處理使用模糊數(shù)學(xué)的方法進(jìn)行聚類

3、分析，稱為模糊聚類分析。并對(duì)web流數(shù)據(jù)的相異度分類度量，定量屬性使用歐氏距離和曼哈坦距離度量；定性屬性可以采用hamming距離度量。web流數(shù)據(jù)模糊聚類算法的主要步驟有兩步：第一步，運(yùn)用最小距離聚類算法進(jìn)行聚類，構(gòu)成一個(gè)初始類。第二步，對(duì)基于最小距離聚類算法進(jìn)行聚類所得到的初始簇，運(yùn)用密度聚類方法進(jìn)行聚合或分割，使得聚類集合穩(wěn)定。最后，采用某遠(yuǎn)程教育網(wǎng)站的真實(shí)日志數(shù)據(jù)進(jìn)行測(cè)試，聚類挖掘了用戶群體類，對(duì)挖掘的類進(jìn)行模式分析和規(guī)則發(fā)現(xiàn)，