基于Hadoop的證據(jù)保全系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)的飛速發(fā)展,數(shù)據(jù)已經(jīng)呈現(xiàn)出指數(shù)級(jí)增長(zhǎng)的態(tài)勢(shì)。面對(duì)海量數(shù)據(jù)帶來(lái)的挑戰(zhàn),國(guó)內(nèi)外各大互聯(lián)網(wǎng)公司紛紛將云計(jì)算的概念應(yīng)用到商業(yè)服務(wù)中,并推出了各自的云服務(wù)。云服務(wù)是將各種計(jì)算資源和商業(yè)應(yīng)用程序以互聯(lián)網(wǎng)為基礎(chǔ)提供給用戶的服務(wù),這些服務(wù)將數(shù)據(jù)的處理過(guò)程從個(gè)人計(jì)算機(jī)或服務(wù)器轉(zhuǎn)移到互聯(lián)網(wǎng)的數(shù)據(jù)中心,從而減少用戶在硬件、軟件和專業(yè)技能方面的投資。目前云服務(wù)已經(jīng)被廣泛應(yīng)用到各個(gè)商業(yè)場(chǎng)景中,并發(fā)展成為一個(gè)非常成熟的商業(yè)服務(wù)模式。
　

2、　本文基于Hadoop,主要完成以下工作:
　　1,設(shè)計(jì)并實(shí)現(xiàn)針對(duì)于云服務(wù)的證據(jù)保全系統(tǒng)。證據(jù)保全系統(tǒng)主要實(shí)現(xiàn)以下功能:首先在云服務(wù)商與用戶之間架設(shè)網(wǎng)關(guān)服務(wù)器,根據(jù)云服務(wù)商指定的過(guò)濾條件獲取所有用戶對(duì)于指定的云服務(wù)API的HTTP請(qǐng)求,并提取出用戶特征信息。用戶特征信息主要包括:用戶名稱、用戶發(fā)起請(qǐng)求的時(shí)間、用戶所在地域、用戶請(qǐng)求的云服務(wù)API以及云服務(wù)API的參數(shù)。然后網(wǎng)關(guān)將用戶特征信息導(dǎo)入到數(shù)據(jù)分析系統(tǒng),數(shù)據(jù)分析系統(tǒng)將按照云服

3、務(wù)商指定的數(shù)據(jù)分析條件對(duì)用戶特征信息進(jìn)行分析,分析結(jié)果將以報(bào)表的形式展示給云服務(wù)商,最后數(shù)據(jù)分析系統(tǒng)將根據(jù)云服務(wù)商指定的歸檔條件將用戶特征信息歸檔到存儲(chǔ)系統(tǒng)以永久保存?？紤]到云服務(wù)商的用戶基數(shù)巨大,證據(jù)保全系統(tǒng)所要處理的數(shù)據(jù)量預(yù)計(jì)將維持在PB級(jí)別,因此證據(jù)保全系統(tǒng)將采用云計(jì)算平臺(tái) Hadoop作為數(shù)據(jù)分析系統(tǒng)和存儲(chǔ)系統(tǒng)的底層實(shí)現(xiàn)。
　　2,證據(jù)保全系統(tǒng)定期根據(jù)多種歸檔條件將用戶特征信息歸檔存儲(chǔ)在 HDFS(Hadoop分布式文件系