聚類式最小角回歸與聚類式坐標下降仿真及實例分析.pdf

1、隨著人工智能的興起，機器學習作為人工智能的核心被更多的人熟知。機器學習本質上分為有監(jiān)督學習問題和無監(jiān)督學習問題。有監(jiān)督學習問題中，數(shù)據(jù)本身具備類別標簽，學習問題的目標是完成分類或回歸。有監(jiān)督學習過程中，變量的輸入和輸出是能夠被充分觀察到的。而無監(jiān)督學習問題中，數(shù)據(jù)本身沒有類別標簽，學習問題的目標是完成聚類。無監(jiān)督學習過程中，聚類結果可以不代表明確類別含義。
　　而模型選擇作為機器學習中的重要一環(huán)，是幫助分析數(shù)據(jù)有效性、探求變量間相

2、關關系以及試洽實際案例的有力工具。傳統(tǒng)的模型選擇方法往往假定了源數(shù)據(jù)是獨立同分布的，這使得目前模型選擇問題的研究，主要針對有限維特征的情況?？墒牵笠?guī)模數(shù)據(jù)的案例中，源數(shù)據(jù)來自不同的數(shù)據(jù)生成過程，已經(jīng)是不爭的公判。這使得數(shù)據(jù)異質性問題成為模型選擇乃至機器學習中不可忽視的問題。
　　在許多實際問題中，數(shù)據(jù)異質性具體體現(xiàn)為:(1)數(shù)據(jù)明確屬于不同的來源（如本文4.3.1小節(jié)中的花卉數(shù)據(jù)），但可能我們不知道具體的分類。(2)我們明確知曉

3、存在不同的分類（例如本文4.3.2中300個城市的各項指標)，但不同城市之間又存在特征（城市大小，發(fā)展程度等）的相似性，因此實際中不可能分成300個類別去處理數(shù)據(jù)。此時，將源數(shù)據(jù)劃分為多少個類別才合適，就變成一個重要的問題。
　　為了解決數(shù)據(jù)異質性對模型選擇帶來的糟糕影響，本文提出一類聚類式算法解決這一問題:用分層模型實現(xiàn)對源數(shù)據(jù)的聚類，在每一層內部獨立完成有監(jiān)督學習，并計算每一種聚類結果對應的學習過程的BIC分數(shù)，選擇BIC得分

4、最小的那一層做為數(shù)據(jù)生成過程的個數(shù)。
　　聚類式算法，本質上對有監(jiān)督學習問題求解算法的改進。傳統(tǒng)模型選擇對于源數(shù)據(jù)獨立同分布的假設，可以看做，將源數(shù)據(jù)的數(shù)據(jù)生成過程個數(shù)假設為n=1。聚類式算法，將數(shù)據(jù)生成過程的個數(shù)n推廣到任意正整數(shù)。而數(shù)據(jù)生成過程的數(shù)量，由算法外層的聚類分析完成。
　　基于上述想法，再考慮到高斯分布的廣泛性、Lasso回歸的優(yōu)良特征，本文重點研究了聚類式最小角回歸與聚類式坐標下降兩個算法，通過Python隨