Linux集群運維平臺用戶權(quán)限管理及日志審計系統(tǒng)實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)行業(yè)的迅猛發(fā)展，支撐互聯(lián)網(wǎng)公司業(yè)務(wù)擴張的Linux集群規(guī)模越來越大，傳統(tǒng)的服務(wù)器運維管理模式已經(jīng)不能滿足業(yè)務(wù)需求，因此國內(nèi)各大互聯(lián)網(wǎng)公司均使用自動化運維平臺對Linux集群進行統(tǒng)一管理?？v觀國內(nèi)互聯(lián)網(wǎng)公司運維平臺發(fā)展的現(xiàn)狀，運維平臺設(shè)計的思路類似，實現(xiàn)的方式不盡相同。Linux集群運維平臺設(shè)計面臨著諸多挑戰(zhàn)，如互聯(lián)網(wǎng)產(chǎn)品突發(fā)的流量變化，互聯(lián)網(wǎng)產(chǎn)品后臺服務(wù)之間復雜的關(guān)聯(lián)關(guān)系，需要支撐互聯(lián)網(wǎng)研發(fā)團隊快速迭代的開發(fā)模式，運維平臺穩(wěn)定

2、性及安全性的極高要求。
　　本文主要闡述自動化運維平臺中與信息安全相關(guān)的模塊(用戶權(quán)限管理、日志審計系統(tǒng))的設(shè)計與實現(xiàn)。文中闡述了基于LDAP及Kerberos技術(shù)構(gòu)建用戶權(quán)限驗證服務(wù)的過程，并提出使用Rsyslogd工具收集驗證服務(wù)的日志以保證用戶權(quán)限驗證服務(wù)的安全性；文中描述了基于Fluentd及MongoDB技術(shù)構(gòu)建日志審計系統(tǒng)的設(shè)計思路及實現(xiàn)細節(jié)，并通過案例分析，介紹日志審計系統(tǒng)在生產(chǎn)環(huán)境中的實踐。
　　首先，文中闡

3、述了用戶統(tǒng)一認證技術(shù)研究現(xiàn)狀，安全性日志分析及海量日志實時分析處理方法的研究現(xiàn)狀。通過分析，論文提出了使用LDAP和Kerberos技術(shù)為基礎(chǔ)構(gòu)建用戶用戶權(quán)限統(tǒng)一認證服務(wù)，并通過 Rsyslogd收集用戶權(quán)限統(tǒng)一認證服務(wù)的日志；日志審計部分，文中描述了Splunk，Scribe，Hive等國內(nèi)外流行的海量日志分析工具的優(yōu)缺點，論文最終提出了以Fluentd/MongoDB為技術(shù)基礎(chǔ)構(gòu)建Linux集群運維平臺日志審計系統(tǒng)；基于Fluent

4、d開發(fā)日志收集工具，將日志推送到MongoDB，利用MongoDB的靈活性和高性能解決海量日志分析的實時性問題。安全性審計方面，論文基于Mongodb中存儲的實時日志數(shù)據(jù)，使用運維團隊在實踐工作中積累的規(guī)則引擎進行安全性實時匹配，對可能存在的黑客入侵行為進行實時分析及告警。
　　在此基礎(chǔ)上，文中詳細闡述了如何安裝和配置LDAP及KDC服務(wù)器，以及如何使用LVS/Keepalived技術(shù)實現(xiàn)用戶權(quán)限認證服務(wù)的高可用性。文中描述了互聯(lián)

5、網(wǎng)公司負載均衡服務(wù)器構(gòu)建的方式，分析了工作在第一線的運維工程師對Linux集群運維平臺的具體需求，運維工程師需要利用Linux集群運維平臺精確把握網(wǎng)站各個域名的實時健康狀況，響應時間的變化趨勢，在黑客入侵行為發(fā)生時能第一時間接受到報警信息。實現(xiàn)的難點是需要處理日志量太大，網(wǎng)站每天都會產(chǎn)生將近TB級別的日志，而且日志文件太分散，很難進行集中式的分析。文中闡述了如何配置Fluentd日志收集插件，使得分散在各個數(shù)據(jù)中心的。MongoDB日志

6、存儲方案具體設(shè)計，及日志實時分析程序的設(shè)計思路及實現(xiàn)方法。文中詳細分析了Fluentd/Mongodb解決方案開發(fā)過程中遇到的問題是如何解決的，包括MongoDB舊數(shù)據(jù)清理及MongoDB數(shù)據(jù)查詢性能優(yōu)化。
　　最后，論文描述了對Linux集群運維平臺用戶權(quán)限管理及日志審計模塊進行了性能和功能兩方面驗證的實踐過程。性能驗證方面，LDAP、Kerberos認證服務(wù)器以良好的性能通過了壓力測試，日志審計系統(tǒng)對日志實時處理的能力也達到了