大規(guī)模分布式系統(tǒng)監(jiān)控技術(shù)研究與應(yīng)用.pdf

1、分布式系統(tǒng)是規(guī)模以及復(fù)雜度不斷擴(kuò)大的計(jì)算機(jī)應(yīng)用的主要表現(xiàn)形式。其中，分布式追蹤系統(tǒng)以及分布式性能監(jiān)控系統(tǒng)是大型分布式系統(tǒng)診斷異常、性能監(jiān)控、保證系統(tǒng)穩(wěn)定的重要手段，分布式追蹤系統(tǒng)負(fù)責(zé)監(jiān)控分布式系統(tǒng)各服務(wù)間調(diào)用情況，分布式性能監(jiān)控系統(tǒng)負(fù)責(zé)監(jiān)控分布式系統(tǒng)各組件對(duì)資源的消耗情況。
　　分布式系統(tǒng)中存在難以快速準(zhǔn)確定位錯(cuò)誤、監(jiān)控采集的數(shù)據(jù)價(jià)值不高、監(jiān)控?cái)?shù)據(jù)采集查詢時(shí)資源消耗高等問題，本論文就監(jiān)控?cái)?shù)據(jù)采樣、數(shù)據(jù)分析以及監(jiān)控?cái)?shù)據(jù)存儲(chǔ)索引等方面

2、提出了快速異常診斷以及降低監(jiān)控?cái)?shù)據(jù)采集查詢資源消耗的方案，具體工作如下:
　　1.提出了一種后驗(yàn)式調(diào)用鏈采集方案?，F(xiàn)有大規(guī)模分布式系統(tǒng)中異常調(diào)用鏈的比例非常小。針對(duì)這種情況，該方案通過(guò)節(jié)點(diǎn)預(yù)判調(diào)用是否異常，僅還原出錯(cuò)調(diào)用鏈并存儲(chǔ)。較之傳統(tǒng)分布式系統(tǒng)監(jiān)控追蹤系統(tǒng)采用固定采樣率，提升了存儲(chǔ)調(diào)用監(jiān)控日志數(shù)據(jù)的價(jià)值，節(jié)省了網(wǎng)絡(luò)、存儲(chǔ)資源的消耗。
　　2.提出了一種基于決策樹分類方法的調(diào)用鏈故障診斷方法用于解決分布式系統(tǒng)中遇到錯(cuò)誤難以

3、快速準(zhǔn)確定位原因的問題。該方法通過(guò)對(duì)已知的異常調(diào)用鏈數(shù)據(jù)集進(jìn)行特征提取，分類錯(cuò)誤調(diào)用鏈為不同錯(cuò)誤類型?？焖俣ㄎ诲e(cuò)誤原因，解決分布式系統(tǒng)難以快速準(zhǔn)確診斷故障的問題。
　　3.提出了一種基于散列概要森林的時(shí)序數(shù)據(jù)索引方法，優(yōu)化監(jiān)控?cái)?shù)據(jù)規(guī)模龐大時(shí)對(duì)大跨度時(shí)間范圍中對(duì)時(shí)序數(shù)據(jù)進(jìn)行統(tǒng)計(jì)、聚合查詢時(shí)的資源時(shí)間消耗。該方法結(jié)合概要森林樹形索引方案，優(yōu)化時(shí)序數(shù)據(jù)聚合操作速度，并結(jié)合一種基于Hbase的線段樹散列存儲(chǔ)方案，解決Hbase分布式存儲(chǔ)時(shí)