ｗｅｂ挖掘在電子商務系統(tǒng)中的應用

1、<p>　?。祝澹馔诰蛟陔娮由虅障到y(tǒng)中的應用</p><p>　　[摘要] 本文闡述了在電子商務應用中，利用Web挖掘技術，有效地將用戶訪問過程中的數據記錄到日志文件中，并對日志文件進行有效地分析和挖掘；利用Apriori改進算法FT－樹增長算法，找出對電子商務系統(tǒng)有指導作用的關聯規(guī)律。 </p><p>　　[關鍵詞] 電子商務 數據挖掘 日志挖掘 知識發(fā)現 人工智能 <

2、/p><p>　　隨著電子商務的發(fā)展，企業(yè)的數據越來越多，而當其數據積累到一定程度時，必然會反映出一定規(guī)律性的東西，也就是說，企業(yè)的海量、分布、動態(tài)、復雜、非結構化的數據中蘊含有可以為其利用的規(guī)律。因此，人們迫切希望使用一種技術，從中挖掘出具有價值的規(guī)律來，形成對企業(yè)的技術和經營的指導。數據挖掘技術是可以用來挖掘這些規(guī)律的一種有效工具。 </p><p>　　Web中包含的豐富和動態(tài)的超鏈接信

3、息，以及Web頁面的訪問和使用信息，為數據挖掘提供了豐富的資源。如何對Web中的數據進行有效的資源和知識發(fā)現，是Web挖掘需要解決的問題。 </p><p>　　一、Web信息數據的特征 </p><p>　　傳統(tǒng)數據挖掘的信息局限于數據庫中的結構化數據，而Web信息數據是半結構化或非結構化的,具有如下特征: 一是大規(guī)模海量數據信息。二是信息分布廣泛。三是異質、動態(tài)的信息源。Web及其數據

4、的更新、增長速度極快, Web上的信息幾乎都是隱藏的、未知的。四是信息具有豐富的內涵。既有涉及各方面豐富的信息內容,又蘊涵著訪問頁面、路徑、時間、用戶IP地址等這些潛在的訪問信息。 </p><p>　　二、數據挖掘及Web挖掘技術 </p><p><b>　　1.數據挖掘 </b></p><p>　　數據挖掘，又稱數據庫中的知識發(fā)現，近幾

5、年來已被數據庫界所廣泛研究。它是在數據倉庫或大型數據庫的基礎上，從大量的、模糊的、隨機的數據中提取出數據間重要的但容易被人工分析忽略的知識和信息。數據挖掘技術涉及數據庫、人工智能、神經網絡、預測理論、機器學習和統(tǒng)計學等多種相關技術。數據庫中的知識發(fā)現（KDD）是從大量數據中提取出可信的、新穎的、有效的并能被人們理解的模式的高級處理過程。模式可以看作是我們所說的知識，它給出了數據的特性或數據之間的關系，是對數據包含的信息更抽象的描述。 &

6、lt;/p><p><b>　　2.Web挖掘 </b></p><p>　　Web挖掘是對數據挖掘的一種新的發(fā)展和應用，但不同于傳統(tǒng)的數據挖掘，其主要區(qū)別在于傳統(tǒng)的數據挖掘的對象局限于數據庫中的結構化數據，并利用關系表等存儲結構來挖掘知識，而Web挖掘的對象是半結構化或非結構化特征。 </p><p>　　Web挖掘就是從大量的Web文檔和Web

7、活動中發(fā)現、抽取感興趣的、潛在的有用模式和隱含的、事先未知的、潛在的信息。它以數據挖掘、文本挖掘、多媒體挖掘為基礎，并綜合運用計算機網絡、數據庫與數據倉庫、人工智能、信息檢索、信息提取、機器學習、統(tǒng)計學、概率理論、可視化、計算機語言學、自然語言理解等多個領域的技術，并將傳統(tǒng)的數據挖掘技術與Web結合起來。Web挖掘分為：Web內容挖掘、Web結構挖掘和Web使用記錄挖掘，如下圖所示。 </p><p>　　圖 W

8、eb挖掘的分類 </p><p>　　三、基于Web日志挖掘的算法 </p><p>　　Web日志記錄了用戶訪問的信息，包括用戶的訪問方式、訪問時間、訪問人數、用戶IP地址、被請求文件的URL HTTP版本號、傳輸字節(jié)數、引用頁的URL等。 </p><p><b>　　1.符號與定義 </b></p><p>　　W

9、eb日志文件是由一條記錄組成的，一條記錄實際上記錄的是用戶對Web頁面的一次訪問。 </p><p>　　定義1關聯規(guī)則：設I是Web日志的一條記錄，即I={i1,i2,…,im},其中ij(1≤j≤m)是某用戶訪問一種商品的數據，每次訪問一種商品都包含有如商品編號、訪問時間、訪問次數、客戶號、客戶IP地址等數據，稱此類數據為數據項。Ti∈I為I的一個子集。D={T1,T2,…,Tn}是關于Ti的集合，且X∈I，

10、Y∈I，X∩Y =Ф，則記錄X=&gt;Y為在集合D中X與Y相互關聯的規(guī)則。 </p><p>　　定義2支持度：如果X=&gt;Y在T中的S%成立，則稱X＝&gt;Y的支持度為S%，即 </p><p>　　S% =(|{t|t中含有X,Y}|/|T|)·100% </p><p>　　支持度S%表示X=&gt;Y中出現的

11、普遍程度。 </p><p><b>　　定義3置信度C% </b></p><p>　　C%=(|{t|t中含有X,Y}|/|{t|t中含有X}|)·100% </p><p>　　置信度表征的是規(guī)則的強度。 </p><p>　　定義4頻繁模式：大于給定的支持度的模式X=&gt;Y稱為頻繁模式，并將

12、它看成是T中一條有意義的關聯規(guī)則。 </p><p><b>　　2.算法描述 </b></p><p>　　根據FP－增長或頻繁模式增長（Frequent-pattern Growth）算法，將關聯規(guī)則的挖掘分為兩個步驟實施：根據所提供的最小支持度和最小置信度找出所有的頻繁項集；利用所產生的頻繁項集，產生合理的關聯規(guī)則。 </p><p>　

13、?。?）FP－增長算法的具體算法描述如下： </p><p>　　輸入事務數據庫D，最小支持度閾值min_sup </p><p>　　輸出D中的所有頻繁項集 </p><p>　　方法1按以下步驟掃描構造FP－樹： </p><p>　?、賿呙枋聞諗祿霥一次。收集頻繁項的集合F和其支持度。對F按支持度降序排序，結果為頻繁項表L。 <

14、/p><p>　?、趧?chuàng)建FP－樹的根節(jié)點，以“null”標記。對D中每個Trans,執(zhí)行： </p><p>　　選擇Trans中的頻繁項，按L中的次序排序。設排序后的頻繁項表為[p│P]，其中p是第一個元素，P是剩余的元素表。調用insert_tree([p│P] ,T)。即：如果T有子女N使得N.item－name = p.item－name，則N的記數增加1，否則創(chuàng)建一個新節(jié)點N，并將其

15、計數設置為1，鏈接到它的父節(jié)點T，并通過節(jié)點鏈接結構將其鏈接到具有相同item–name的節(jié)點。如果P非空，遞歸調用insert_tree（P,N）。 </p><p>　　方法2procedure FT_growth(Tree,α) </p><p>　　if Tree含單個路徑P then </p><p>　　for P中節(jié)點的每個組合（記作β）產生模式β∪α

16、，其支持度support=β中節(jié)點最小支持度； </p><p>　　else for each αi在Tree的頭部{ </p><p>　　產生一個模式β=αi∪α，其支持度support =αi·support； </p><p>　　構造β的條件模式基，然后構造β的條件FP－樹Treeβ； </p><p>　　if Tre

17、eβ≠φthen </p><p>　　調用FP_growth(Treeβ,β)；} </p><p>　?。?）產生頻繁項集。本文主要介紹如何產生所有頻繁項集。假設有一個兩維的Web日志數據文件。一維是商品號，共有三種商品，分別標志為T1，T2，T3；另一維包括商品的訪問次數，為簡化處理，分別標志為Interview1，Interview2，Interview3，Interview4，I

18、nterview5。另假設Min_sup=0.3，Minconf =0.5,表1給出了兩維的事務數據庫，表2給出的是一維頻繁項集，表3給出的是二維頻繁項集。 </p><p><b>　　四、結束語 </b></p><p>　　本文提出了一種基于日志的Web數據挖掘方法，對電子商務系統(tǒng)具有較強的現實指導意義。Web日志挖掘所得到的結果既有利于提高網站的性能和安全性,