面向用戶請(qǐng)求路徑的分布式系統(tǒng)監(jiān)控關(guān)鍵技術(shù)研究.pdf

1、在現(xiàn)代社會(huì)，分布式系統(tǒng)發(fā)揮著越來越重要的作用，推動(dòng)著各行各業(yè)的快速發(fā)展，極大地便利了人們的日常生活。隨著技術(shù)的發(fā)展和用戶需求的增加，分布式系統(tǒng)呈現(xiàn)出新的發(fā)展趨勢(shì)，包括用戶數(shù)量日趨增加、設(shè)施規(guī)模日趨龐大、系統(tǒng)結(jié)構(gòu)日趨復(fù)雜等。這些發(fā)展趨勢(shì)為分布式系統(tǒng)的發(fā)展帶來了機(jī)遇，但同時(shí)也帶了挑戰(zhàn)，其中重要的一項(xiàng)便是日益增多的系統(tǒng)異常。這些異常嚴(yán)重地影響著系統(tǒng)的可靠性和性能，并可能造成巨大的損失，特別是在安全攸關(guān)的領(lǐng)域，這些異?？赡軒頌?zāi)難性的后果。

2、r>　　作為一種運(yùn)行時(shí)的技術(shù)，系統(tǒng)監(jiān)控對(duì)系統(tǒng)運(yùn)行時(shí)信息進(jìn)行收集，據(jù)此檢測(cè)和診斷系統(tǒng)運(yùn)行過程中出現(xiàn)的異常，并對(duì)系統(tǒng)進(jìn)行恢復(fù)，從而有效地提高分布式系統(tǒng)的可靠性和性能。在收集的各種類型的數(shù)據(jù)中，用戶請(qǐng)求路徑（簡(jiǎn)稱路徑）記錄了用戶請(qǐng)求的執(zhí)行過程及上下文信息，能為異常的檢測(cè)和診斷提供更為豐富、更有價(jià)值的信息。因此，面向路徑的系統(tǒng)監(jiān)控技術(shù)得到了廣泛的應(yīng)用，成為學(xué)術(shù)界和工業(yè)界關(guān)注的熱點(diǎn)。但是，分布式系統(tǒng)呈現(xiàn)出的發(fā)展趨勢(shì)為面向路徑的系統(tǒng)監(jiān)控技術(shù)帶來了嚴(yán)

3、峻的挑戰(zhàn)，包括：如何準(zhǔn)確、實(shí)時(shí)、低開銷地對(duì)路徑數(shù)據(jù)進(jìn)行收集并有效地進(jìn)行展示；如何快速、準(zhǔn)確地從海量的路徑數(shù)據(jù)中檢測(cè)出系統(tǒng)異常；如何基于路徑數(shù)據(jù)快速、準(zhǔn)確地對(duì)系統(tǒng)中的故障進(jìn)行細(xì)粒度地識(shí)別和定位等。另外，難以獲取滿足實(shí)際需要的路徑數(shù)據(jù)給這些技術(shù)的發(fā)展帶來了阻礙。針對(duì)這些問題和挑戰(zhàn)，本文對(duì)面向路徑系統(tǒng)監(jiān)控的關(guān)鍵技術(shù)和基礎(chǔ)數(shù)據(jù)展開深入的研究，主要工作和貢獻(xiàn)包括：
　　（1）輕量級(jí)的白盒跟蹤方法
　　文章給出了一個(gè)輕量級(jí)的白盒跟蹤方法

4、MTracer，MTracer能夠準(zhǔn)確、實(shí)時(shí)地捕獲用戶請(qǐng)求路徑，記錄節(jié)點(diǎn)、構(gòu)件、函數(shù)等不同粒度的執(zhí)行信息?；赪eb的可視化工具M(jìn)Tracer-Viz能夠?qū)κ占穆窂綌?shù)據(jù)進(jìn)行分析，并從不同的角度對(duì)信息進(jìn)行展示，以輔助用戶進(jìn)行系統(tǒng)理解和維護(hù)。實(shí)驗(yàn)表明，MTracer給系統(tǒng)帶來的額外開銷處于較低水平，且具有較高的處理速度，能夠有效地對(duì)實(shí)際系統(tǒng)的行為進(jìn)行跟蹤。另外，MTracer在易用性和通用性方面具有較好的表現(xiàn)。
　?。?）細(xì)粒度、多

5、場(chǎng)景的請(qǐng)求路徑數(shù)據(jù)集
　　文章給出了一個(gè)細(xì)粒度、多場(chǎng)景的請(qǐng)求路徑數(shù)據(jù)集TraceBench，TraceBench是第一個(gè)以用戶請(qǐng)求為中心的細(xì)粒度開源路徑數(shù)據(jù)集。在數(shù)據(jù)集的收集過程中，通過設(shè)置不同的集群規(guī)模、請(qǐng)求類型、負(fù)載強(qiáng)度、故障種類等構(gòu)建不同的收集場(chǎng)景，使目標(biāo)系統(tǒng)在不同場(chǎng)景中表現(xiàn)出不同的行為特征，從而保證數(shù)據(jù)集可以滿足不同的應(yīng)用需要。實(shí)驗(yàn)表明，TraceBench中的數(shù)據(jù)真實(shí)可用，能夠有效地支持異常檢測(cè)和診斷等系統(tǒng)監(jiān)控相關(guān)技術(shù)，

6、且適用于一些其它研究，如不變式挖掘等。
　?。?）基于運(yùn)行時(shí)驗(yàn)證的異常檢測(cè)方法
　　文章給出了一個(gè)基于運(yùn)行時(shí)驗(yàn)證的異常檢測(cè)方法。該方法利用不同的邏輯語言對(duì)系統(tǒng)行為特征進(jìn)行描述，并利用運(yùn)行時(shí)驗(yàn)證中的相關(guān)技術(shù)將系統(tǒng)特征轉(zhuǎn)換成方法的內(nèi)部表達(dá)，據(jù)此對(duì)路徑數(shù)據(jù)進(jìn)行檢查，發(fā)現(xiàn)系統(tǒng)中存在的異常。實(shí)驗(yàn)結(jié)果表明，方法采用的邏輯語言可以準(zhǔn)確靈活地對(duì)系統(tǒng)行為特征模型范圍內(nèi)的行為特征進(jìn)行描述；且能夠在特征描述的范圍內(nèi)準(zhǔn)確地檢測(cè)出異常路徑，并具有較高

7、的效率，能夠滿足實(shí)際需要。
　?。?）基于路徑分割的性能異常診斷方法
　　文章給出了一個(gè)基于路徑分割的性能異常診斷方法SegDiag。SegDiag利用自動(dòng)分割算法對(duì)路徑數(shù)據(jù)進(jìn)行分割，達(dá)到降低數(shù)據(jù)維度、增大樣本容量、提高信息利用率等目的，從而提高分析過程的準(zhǔn)確度和效率；SegDiag引入循環(huán)過程并給出合理的循環(huán)終止條件，可以進(jìn)一步提高方法的準(zhǔn)確度；另外，方法還采用了一個(gè)綜合投票機(jī)制，可以準(zhǔn)確地對(duì)不同粒度的故障進(jìn)行定位，并為用