基于概率圖模型的變分貝葉斯方法研究.pdf

1、變分推理方法被廣泛用于評估概率圖模型的后驗分布或分布對應(yīng)的期望，其基本思想是通過變分轉(zhuǎn)換將推理問題轉(zhuǎn)化為一個變分優(yōu)化問題，利用迭代方法以期望能夠高效的獲得一個近似解。然而，該方法存在著一個嚴重的局部最優(yōu)解問題，算法的收斂效果取決于初始值的選擇，因此為了能夠?qū)崿F(xiàn)全局最優(yōu)解，算法應(yīng)當(dāng)盡可能廣泛的選擇初始值。
　　針對EM算法和VBEM算法全局收斂效率低的問題，本文提出了相應(yīng)的改進辦法，其研究內(nèi)容主要包括以下三個方面：
　　(1)

2、針對傳統(tǒng)EM算法存在的局部最優(yōu)解問題，引入非廣延統(tǒng)計力學(xué)的Tsallis熵替代傳統(tǒng)的香農(nóng)熵，提出一種TDAEM算法。該算法結(jié)合了退火算法和Tsallis熵的優(yōu)點，通過控制參數(shù)q，避開局部最優(yōu)點，提高全局最優(yōu)收斂效率。
　　(2)針對VBEM存在嚴重的局部最優(yōu)解問題，借鑒退火算法的思想，提出一種用來克服局部最優(yōu)解問題的確定退火VBEM算法——DAVBEM，同時將其推廣到混合高斯模型中。該算法利用最大熵原理，導(dǎo)出帶有溫度參數(shù)的新變分后