面向Hadoop的安全機(jī)制設(shè)計(jì).pdf

1、近幾年，隨著信息的爆炸式增長，大數(shù)據(jù)時(shí)代來臨，作為海量數(shù)據(jù)存儲(chǔ)與計(jì)算的Hadoop技術(shù)逐漸成為熱門應(yīng)用，Hadoop是Apache軟件基金會(huì)旗下的一個(gè)開源分布式計(jì)算平臺(tái)，相較于企業(yè)傳統(tǒng)的通過購買昂貴的、高性能的大型服務(wù)器來對(duì)大量數(shù)據(jù)進(jìn)行處理，Hadoop更具性價(jià)比，因?yàn)樗梢源罱ㄟ\(yùn)行在廉價(jià)的商用機(jī)器集群上，通過分布式數(shù)據(jù)存儲(chǔ)和計(jì)算框架來完成對(duì)大數(shù)據(jù)的存儲(chǔ)計(jì)算。正是因?yàn)镠adoop自身所具有的高可靠性、高擴(kuò)展性、高效性、高容錯(cuò)性等優(yōu)點(diǎn)，它

2、逐漸成為大企業(yè)及研究機(jī)構(gòu)的研究焦點(diǎn)。
　　但隨著Hadoop應(yīng)用的擴(kuò)大加深，其安全問題也日益凸顯，Hadoop在數(shù)據(jù)存儲(chǔ)及數(shù)據(jù)處理等技術(shù)領(lǐng)域存在的不安全因素，讓許多亟待使用它的企業(yè)望而卻步。
　　本文從Hadoop2.0版本中的核心子項(xiàng)目HDFS和YARN入手，分析其在服務(wù)過程中的認(rèn)證和授權(quán)機(jī)制，對(duì)當(dāng)前所采用的基于Kerberos和基于非對(duì)稱加密的Token認(rèn)證機(jī)制、傳輸加密機(jī)制、基于Linux/Unix系統(tǒng)自帶的訪問控制機(jī)

3、制進(jìn)行了詳細(xì)的分析，歸納這些安全措施在安全性及效率性兩方面存在的缺陷，并在此基礎(chǔ)上提出了新的安全框架。
　　本文的創(chuàng)新點(diǎn)：
　　1、本文提出將基于PKI的數(shù)字證書認(rèn)證技術(shù)代替原有的Kerberos認(rèn)證，并利用基于非對(duì)稱加密的公私鑰原理設(shè)計(jì)全新的、更加安全、更加有效的認(rèn)證令牌。
　　2、將基于數(shù)字信封的AES對(duì)稱加密技術(shù)應(yīng)用到Hadoop2.0安全傳輸加密中，兼顧了Hadoop數(shù)據(jù)傳輸過程中的安全性和效率性。