線性約束矩陣最小二乘問題：理論與算法.pdf

1、近年來，隨著社會的發(fā)展和科學(xué)的進(jìn)步，并受其他學(xué)科與工程技術(shù)領(lǐng)域應(yīng)用中產(chǎn)生的迫切需求所驅(qū)動，帶各種約束的線性方程及其對應(yīng)的最小二乘問題越來越引起人們的關(guān)注．如在眾多領(lǐng)域中擁有廣泛應(yīng)用的Sylvester方程，Lyapunov方程和帶各種約束的″逆特征值問題″及其最小二乘問題等． 理論上，利用Kronecker積，可以等價地將矩陣形式的約束最小二乘問題寫成向量形式，因此，通解能夠用高維空間的向量表示．由于約束方程可以視為對應(yīng)的最小二

2、乘問題殘量為零時的特殊情形，所以這種表示也同樣適合約束方程．但是，這種從矩陣到向量的等價變換方式引起系數(shù)陣的不必要增大，將直接導(dǎo)致計算量和存儲量的成倍增加；同時，系數(shù)矩陣的一些特殊結(jié)構(gòu)在解的表示中可能會丟失．為了克服在結(jié)構(gòu)分析和通解表示中引入Kronecker積產(chǎn)生的各種困難，許多研究者更為感興趣地是從矩陣層面上尋求無約束或者線性約束最小二乘問題的通解表示．常用的方法是借助于一些矩陣分解，如廣義奇異值分解(GSVD)，典型相關(guān)分解(CC

3、D)，和商奇異值分解(QSVD)等．一般而言，矩陣方程可以通過特殊分解簡化為″對角″形式，由此產(chǎn)生的新系統(tǒng)是容易求解的：我們只需將新變量陣合理的進(jìn)行分塊即可，其中的子塊一部分可以直接求解，另一部分則通過求解一個小規(guī)模的線性系統(tǒng)實(shí)現(xiàn)．此外，有些研究者也通過迭代數(shù)值求解一些特殊的約束最小二乘問題． 一般地，矩陣分解是對特殊問題采取的特定解法，需要很強(qiáng)的技巧性；并且它也依賴于方程本身和約束條件．因此，很難將一個特定的分解直接應(yīng)用于一系

4、列相關(guān)的卻又不同的問題，可″移植″生較差．此外，這些方法通常是不″魯棒″的，微小的改變約束條件可能會引起求解的巨大變化．一個自然的問題是：對于一般的線性約束最小二乘問題，是否在通解和迭代上存在著統(tǒng)一的求解模式．在本文中，作者試圖在理論和算法上給出框架式的研究方法，通過對老問題從新的切入點(diǎn)和視角入手進(jìn)行研究．相信文中提出的方法對約束最小二乘問題的求解能夠提供啟發(fā)和幫助． 本文的主要貢獻(xiàn)如下： 1．利用約束空間的基矩陣(約束

5、矩陣)，我們用一個低維的列向量空間(坐標(biāo)空間)刻劃該線性約束空間，并且給出一般矩陣到這個約束空間上正交投影的矩陣表示． 2．揭示了強(qiáng)約束最小二乘問題和弱約束最小二乘問題解空間之間的內(nèi)在聯(lián)系．強(qiáng)約束解集是否包含于弱約束解集，取決于方程的右端矩陣T．對于一般情形，證明了：存在一個T的等價映射φ(T)，使得關(guān)于右端為φ(T)的強(qiáng)約束最小二乘問題與原強(qiáng)約束問題同解．更為重要的是：以φ(T)為右端的弱約束問題的解集中，包含了原強(qiáng)約束問題的

6、所有解．因此，對給定的右端φ(T)，如果相應(yīng)的弱約束問題的通解已知或者容易得到，那么，原強(qiáng)約束問題也就容易求解．我們用定理3.5揭露上述潛在的性質(zhì)，同時，該定理也表明：強(qiáng)約束解集實(shí)際上就是強(qiáng)約束空間與以φ(T)為右端的弱約束解集的交集．因此，等價映射的獲得就成為了求解約束最小二乘問題的關(guān)鍵．T的等價映射φ(T)是不唯一的，它可以取成是在強(qiáng)約束變換值域(約束問題本身的線性變換關(guān)于強(qiáng)約束空間的值域)上的正交投影．在文中，我們提出了刻劃等價映

7、射的幾個定理，并且給出了等價映射可驗(yàn)證的一些構(gòu)造途徑．然后，將這些理論應(yīng)用于一些特殊的約束最小二乘問題，得到了通解的簡單表示形式．從弱約束解集中尋找強(qiáng)約束通解為一般的帶約束最小二乘問題提供了一種統(tǒng)一的求解模式，特別適合逐步施加更多約束條件的矩陣最小二乘問題的求解． 3．對于特殊約束的兩類特定方程，通過約束條件中矩陣的特征值分解，實(shí)現(xiàn)約束方程的無約束化；同時將原約束方程等價于一個通解已知的無約束方程；然后重構(gòu)出原約束方程的解．在通

8、解的表示中不涉及具體的特征值分解． 4．提出了求解線性約束最小二乘問題的幾種矩陣形式Krylov子空間方法．本質(zhì)上，這些算法是向量形式的CGLS，GMRES和LSQR對應(yīng)的矩陣迭代，但不僅僅是它們簡單的重寫．理論上，借助于基矩陣和Kronecker積，我們得到約束最小二乘問題的無約束向量形式，并對其應(yīng)用向量形式的Krylov子空間方法，由此可以推導(dǎo)出矩陣形式的Krylov方法．但是在具體的矩陣迭代中，我們要求是不涉及Kronec