基于一般廣義熵及非平衡割點(diǎn)搜索的決策樹學(xué)習(xí).pdf

1、分類問(wèn)題是機(jī)器學(xué)習(xí)領(lǐng)域最重要的學(xué)習(xí)問(wèn)題之一，而決策樹學(xué)習(xí)算法又是一種典型的分類學(xué)習(xí)算法。近幾年來(lái)，對(duì)離散值和連續(xù)值屬性決策樹學(xué)習(xí)算法的研究和改進(jìn)都已經(jīng)取得了很大的進(jìn)展。對(duì)于連續(xù)值屬性的決策樹學(xué)習(xí)算法，學(xué)者們提出了多種不同的屬性選取標(biāo)準(zhǔn)，但到目前為止，這些選擇標(biāo)準(zhǔn)只是處于分析各自的優(yōu)缺點(diǎn)、比較優(yōu)劣性的階段，而沒(méi)有對(duì)多種屬性選擇標(biāo)準(zhǔn)的共性進(jìn)行研究?；诖搜芯楷F(xiàn)狀，本論文主要做了以下三方面的貢獻(xiàn)：
　　 本文首先根據(jù)已有的決策樹屬性選

2、取標(biāo)準(zhǔn)—信息熵和Gini-Index 所共有的特性，給出了一般廣義熵函數(shù)的定義，并在此基礎(chǔ)上提出了一種新的基于分割一般廣義熵的連續(xù)值屬性的決策樹屬性選取標(biāo)準(zhǔn)。其次，針對(duì)連續(xù)值屬性決策樹產(chǎn)生過(guò)程中計(jì)算的時(shí)間復(fù)雜度較大的缺點(diǎn)，我們引入了非平衡割點(diǎn)的概念，并通過(guò)嚴(yán)格的數(shù)學(xué)證明給出割點(diǎn)和非平衡割點(diǎn)的關(guān)系，即使分割一般廣義熵極小化的割點(diǎn)一定是非平衡割點(diǎn)。這一結(jié)論表明在連續(xù)值屬性決策樹的產(chǎn)生過(guò)程中，平衡割點(diǎn)處的分割一般廣義熵不需要計(jì)算。理論和實(shí)驗(yàn)分