切換網(wǎng)絡(luò)分布式Push-sum無(wú)梯度算法.pdf

1、近年來，伴隨著網(wǎng)絡(luò)、通迅、計(jì)算機(jī)等技術(shù)的快速發(fā)展，分布式優(yōu)化研究課題備受學(xué)者們關(guān)注，尤其是大數(shù)據(jù)時(shí)代的到來給分布式優(yōu)化算法提供了新的研究課題。多個(gè)體網(wǎng)絡(luò)是由眾多個(gè)體通過信息通訊耦合成的網(wǎng)絡(luò)化系統(tǒng)，其中每個(gè)個(gè)體均具有感知、處理和通迅的能力。分布式優(yōu)化目的是要求網(wǎng)絡(luò)中各個(gè)個(gè)體團(tuán)隊(duì)合作解決網(wǎng)絡(luò)中各個(gè)目標(biāo)函數(shù)之和的最小值問題，其優(yōu)點(diǎn)不僅能有效節(jié)約企業(yè)或公司中的投資成本而且具有極強(qiáng)的魯棒性。但現(xiàn)實(shí)中，很多通迅條件都會(huì)影響個(gè)體間信息通訊，如切換非平

2、衡網(wǎng)絡(luò)、個(gè)體目標(biāo)函數(shù)次梯度計(jì)算復(fù)雜或者通迅通道故障等約束條件，因此目前研究切換網(wǎng)絡(luò)下分布式優(yōu)化算法意義重大。
　　本文主要解決多個(gè)體網(wǎng)絡(luò)中所有個(gè)體通過相互協(xié)作來尋求各個(gè)個(gè)體目標(biāo)函數(shù)之和的最小值問題，其中每個(gè)個(gè)體僅知其自身目標(biāo)函數(shù)且僅可以與其鄰居個(gè)體交互信息。針對(duì)個(gè)體目標(biāo)函數(shù)次梯度計(jì)算復(fù)雜和不存在情況，以及對(duì)個(gè)體間信息通訊出現(xiàn)的其它復(fù)雜問題進(jìn)行深入研究。本文包括兩部分主要內(nèi)容:
　　一、針對(duì)多個(gè)體網(wǎng)絡(luò)中個(gè)體間信息通訊常會(huì)出現(xiàn)數(shù)

3、據(jù)丟包、個(gè)體目標(biāo)函數(shù)通常是非光滑及單變量信息通迅具有一定局限性等問題，提出數(shù)據(jù)丟包情形下分布式無(wú)梯度Push-sum算法。通過增加虛擬節(jié)點(diǎn)進(jìn)行系統(tǒng)擴(kuò)維，為此建立一個(gè)有限的非均勻的馬爾可夫鏈，這意味著與網(wǎng)絡(luò)拓?fù)湎鄬?duì)應(yīng)的權(quán)矩陣為列隨機(jī)矩陣而無(wú)需雙隨機(jī)矩陣，因而網(wǎng)絡(luò)拓?fù)涫乔袚Q非平衡的。并利用遍歷性系數(shù)的結(jié)論理論上驗(yàn)證了算法的收斂性，其中誤差值與高斯近似函數(shù)的光滑參數(shù)、目標(biāo)函數(shù)的lipschitz常數(shù)成正比。故有效解決了數(shù)據(jù)丟包及個(gè)體目標(biāo)函數(shù)次

4、梯度計(jì)算復(fù)雜的分布式優(yōu)化問題。
　　二、針對(duì)多個(gè)體網(wǎng)絡(luò)中所有個(gè)體在同一時(shí)刻進(jìn)行信息通迅使得信息量巨大致使信息擁塞或網(wǎng)絡(luò)坍塌的情況頻繁發(fā)生的問題，提出分布式流言Push-sum無(wú)梯度算法來解決上述問題。個(gè)體選擇鄰居進(jìn)行信息通訊的過程均服從一個(gè)泊松分布時(shí)鐘的轉(zhuǎn)動(dòng)規(guī)律，時(shí)鐘每轉(zhuǎn)動(dòng)一次代表與選擇的鄰居信息通訊一次。接著在網(wǎng)絡(luò)連通和迭代步長(zhǎng)下降的基礎(chǔ)上證明了所提算法具有收斂性。最后，通過MATLAB軟件分析得出的圖像驗(yàn)證了所提算法理論結(jié)果的