針板先驗(yàn)的研究與應(yīng)用.pdf

1、針板先驗(yàn)(Spike and Slab Prior)是一種用于鼓勵(lì)連續(xù)變量稀疏性的先驗(yàn)概率。和常見(jiàn)的l1模正則化方法通過(guò)最小化零點(diǎn)不可導(dǎo)的代價(jià)函數(shù)以得到稀疏解的做法不同，針板先驗(yàn)使用一種特殊的二分量的高斯混合模型，對(duì)變量的零或非零屬性進(jìn)行直接建模。配合概率建模中常用的近似推斷方法，針板先驗(yàn)不僅僅可以用來(lái)鼓勵(lì)變量的稀疏性，亦可以對(duì)變量之間涉及到零或非零屬性的復(fù)雜關(guān)系進(jìn)行建模。本文將對(duì)針板先驗(yàn)進(jìn)行研究，并探索它的三個(gè)應(yīng)用:
　　首先，

2、本文將針板先驗(yàn)用于稀疏逆協(xié)方差矩陣估計(jì)。和l1模正則化方法相比，提出的使用針板先驗(yàn)的模型可以得到更為稀疏，并且預(yù)測(cè)性能更高的逆協(xié)方差矩陣。通過(guò)賦予針板先驗(yàn)的參數(shù)以超先驗(yàn)并利用貝葉斯近似推斷技術(shù)，可以避免交叉驗(yàn)證，從而極大的降低了模型選擇的難度。
　　其次，本文將針板先驗(yàn)用于在協(xié)同過(guò)濾系統(tǒng)里選擇動(dòng)態(tài)用戶，即需要使用多變量對(duì)其興趣變化進(jìn)行建模的用戶。和l21模正則化方法相比，使用針板先驗(yàn)的模型不僅僅可以對(duì)用戶的動(dòng)態(tài)/靜態(tài)屬性進(jìn)行判斷，

3、同時(shí)還提供了對(duì)判斷的肯定程度的估計(jì)。提出的動(dòng)態(tài)/靜態(tài)混合模型不僅可以用來(lái)對(duì)用戶的興趣變化進(jìn)行分析，同時(shí)在以RMSE為指標(biāo)的評(píng)分預(yù)測(cè)任務(wù)中也獲得了很好的性能。
　　再次，本文將針板先驗(yàn)用戶子空間聚類。在提出的層次化模型里，針板先驗(yàn)作為連接樣本類標(biāo)號(hào)和重建矩陣之間的橋梁，被用于限制不在同一子空間內(nèi)的兩個(gè)樣本所對(duì)應(yīng)的重建系數(shù)的大小。這樣的限制在一定程度上減輕了樣本重建模型對(duì)子空間獨(dú)立假設(shè)的依賴。在人工合成的數(shù)據(jù)集和真實(shí)數(shù)據(jù)集上，和主流的