分布式環(huán)境下通用日志系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、記錄日志在當(dāng)前互聯(lián)網(wǎng)服務(wù)中扮演了重要的角色，成為了不可忽視的重要組成部分。無論是在軟件的開發(fā)階段，還是在軟件的運(yùn)行階段，打印日志都能起到很大的作用。通過查看日志，開發(fā)人員能了解系統(tǒng)正在運(yùn)行的情況，進(jìn)而定位和診斷有疑問的地方；運(yùn)營人員通過收集日志，能了解到業(yè)務(wù)的運(yùn)營狀況，用戶數(shù)量，增長趨勢，使用習(xí)慣。隨著互聯(lián)網(wǎng)規(guī)模的不斷擴(kuò)大，用戶量的增加，單機(jī)服務(wù)由于自身的限制，已經(jīng)不能滿足現(xiàn)有的需要，服務(wù)在往分布式方向發(fā)展。而在當(dāng)前分布式環(huán)境中，記錄日

2、志成為了一個需要重新審視的問題：服務(wù)分布在多臺機(jī)器上、日志收集不便、數(shù)據(jù)量增長快，本地存儲空間有限。如何支持快速、簡便同時保證數(shù)據(jù)安全地收集大數(shù)據(jù)量的日志成為了值得研究及具有商業(yè)價(jià)值的課題。
　　本文全面地分析了分布式環(huán)境下通用日志系統(tǒng)的功能性需求，包含了記錄、查詢、管理等，同時也對系統(tǒng)的性能及安全性提出了一定的要求。具體的工作主要有①在分布式環(huán)境下日志系統(tǒng)的搭建。客戶端從配置中心獲取服務(wù)器信息，將本地?cái)?shù)據(jù)處理后交由服務(wù)器進(jìn)行處理

3、。②高性能服務(wù)端實(shí)現(xiàn)。服務(wù)端負(fù)責(zé)將數(shù)據(jù)存入到數(shù)據(jù)庫中，由接口層與存儲層的兩部分組成。考慮到寫數(shù)據(jù)庫的速度較慢，為了提高并發(fā)能力，減緩接口層的壓力，接口只負(fù)責(zé)獲取日志內(nèi)容，并轉(zhuǎn)存到共享內(nèi)存。存儲層負(fù)責(zé)存儲數(shù)據(jù)?？紤]到性能及易用性，數(shù)據(jù)庫采用了MySQL，并且使用了Infobright引擎來提供高效的查詢性能。③通用日志系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)。通過定義好接口與代理的交互協(xié)議，大多數(shù)語言可以很容易的開發(fā)出相應(yīng)的接口代碼，從而接入到本系統(tǒng)中，進(jìn)行工作

4、。④高性能客戶端的設(shè)計(jì)與實(shí)現(xiàn)?？蛻舳朔譃槭萁涌诓糠旨案淮聿糠?。接口僅僅負(fù)責(zé)將日志存入到共享內(nèi)存當(dāng)中，剩下的寫本地日志、發(fā)送到服務(wù)端都由富代理來執(zhí)行。⑤查詢系統(tǒng)的搭建。查詢系統(tǒng)以網(wǎng)頁的形式提供服務(wù)，通過Bootstrap、jQuery及大量輔助型插件，查詢系統(tǒng)提供了簡潔、易用、用戶友好的界面，供用戶使用。并且在開發(fā)過程中，通過收集用戶意見，不斷迭代，更加照顧用戶的使用習(xí)慣。
　　整個系統(tǒng)經(jīng)過一定的功能測試和性能測試，確定系統(tǒng)在基本