基于決策樹ID3算法的數(shù)據(jù)挖掘技術(shù)研究與應(yīng)用.pdf

1、決策樹方法是數(shù)據(jù)挖掘的重要方法，通常用來形成分類器和預(yù)測模型。決策樹方法包含多種不同的算法，其中ID3算法是決策樹方法的典型代表，是決策樹生成最常用的具體實(shí)現(xiàn)方法，它利用信息論中的信息增益尋找數(shù)據(jù)庫中具有最大信息量的屬性字段，建立決策樹的一個(gè)結(jié)點(diǎn)，再根據(jù)該屬性字段的不同取值建立樹的分枝，在每個(gè)分枝集中重復(fù)建立樹的下一個(gè)結(jié)點(diǎn)和分枝。通過這種方式，可以保證決策樹具有最小的分枝數(shù)量，使得到的決策樹冗余最小。但是，目前的ID3算法存在著偏向于選

2、擇屬性取值較多的屬性，而實(shí)際中屬性值較多的屬性卻不總是最優(yōu)的屬性。多值偏向可能導(dǎo)致從數(shù)據(jù)集中歸納出錯(cuò)誤的規(guī)則，使決策樹的性能下降，因此測試屬性的選擇問題成為ID3算法的一個(gè)關(guān)鍵問題。 針對上述問題，本文提出了一種避免了多值偏向問題的ID3改進(jìn)算法——NewDtree算法。該算法是以屬性相似度的理論框架為基礎(chǔ)，通過計(jì)算條件屬性和決策屬性的相似度，然后把相似度的大小作為測試屬性的選擇標(biāo)準(zhǔn)。本文應(yīng)用理論分析方法對NewDtree算法不

3、存在多值偏向問題進(jìn)行了證明，通過對NewDtree算法在University of California，Irvine(UCI)機(jī)器學(xué)習(xí)數(shù)據(jù)集中的2個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集訓(xùn)練得出的決策樹進(jìn)行分析，NewDtree算法能有效的提高分類的正確率，彌補(bǔ)了ID3算法選擇測試屬性時(shí)偏向取值較多的不足。 最后，為了證明NewDtree算法的實(shí)用性，本文將NewDtree算法應(yīng)用于以高校就業(yè)分析為主題的數(shù)據(jù)挖掘系統(tǒng)中，以實(shí)現(xiàn)對高校就業(yè)數(shù)據(jù)的分類，建立挖