改進的多分塊凸優(yōu)化問題的交替方向乘子法.pdf

1、在這個信息快速增長的時代，越來越多的實際問題需要依靠數(shù)據(jù)分析去解決，而問題相關的數(shù)據(jù)量也越來越大。此時，能夠處理大規(guī)模數(shù)據(jù)的統(tǒng)應用統(tǒng)計和機器學習方法就顯得格外重要。交替方向乘子法(the Alternating Direction Method of Multipliers;ADMM)是一個在應用統(tǒng)計和機器學習領域的常用算法，它能夠?qū)⒋笮蛦栴}分解為可數(shù)個子問題，利用分布式系統(tǒng)實現(xiàn)大數(shù)據(jù)問題的求解。依靠針對大規(guī)模數(shù)據(jù)計算的優(yōu)勢， ADMM

2、算法近年來成了一個研究熱點。原始的ADMM算法是用來解決目標函數(shù)為兩部分的凸優(yōu)化問題。然而，很多實際問題所涉及到的凸優(yōu)化問題，目標函數(shù)由三個及以上的部分組成，這樣就出現(xiàn)了針對多分塊凸優(yōu)化問題的ADMM推廣算法。本文總結了兩種ADMM推廣算法(DADMM, BADMM)的原理及其收斂性結論，在此基礎上提出了一個新的針對多分塊凸優(yōu)化問題的ADMM推廣算法——TADMM(Triple-group extension Alternating D

3、irection Method of Multipliers for Multiple-block Convex Programming)，討論了它的收斂性情況，給出了一個收斂充分條件——存在兩個分組后的系數(shù)矩陣正交。新的算法保持了BADMM的優(yōu)勢，并且能在目標函數(shù)分組時提供更多的選擇。在數(shù)值試驗中，選擇了兩個多分塊凸優(yōu)化問題對算法進行試驗，其中算例1為圖像修復領域的常用模型。實驗結果顯示：相對于BADMM算法，TADMM算法在收斂速度