基于Thrift框架的離線大數(shù)據(jù)中間件的設(shè)計與實現(xiàn).pdf

1、近幾年，大數(shù)據(jù)、云計算已經(jīng)成為家喻戶曉的熱門詞匯，百度公司作為當(dāng)前國內(nèi)領(lǐng)先的搜索引擎領(lǐng)導(dǎo)者，擁有規(guī)模巨大的數(shù)據(jù)資源?；诎俣鹊暮Ａ坑脩魯?shù)據(jù)，同時與垂直搜索深度結(jié)合，挖掘出千萬級別標(biāo)簽數(shù)據(jù)，對用戶進(jìn)行空間和時間的立體洞察。
　　本課題采用百度公司使用廣泛的PHP作為開發(fā)語言，借助Thrift框架強(qiáng)大的跨語言服務(wù)能力，以百度垂直搜索類業(yè)務(wù)的離線數(shù)據(jù)為基礎(chǔ)，開發(fā)了一套集合數(shù)據(jù)查詢，數(shù)據(jù)計算，數(shù)據(jù)存儲，資源調(diào)度，統(tǒng)計報表等一系列功能的離線

2、大數(shù)據(jù)中間件。
　　文章以當(dāng)前的大數(shù)據(jù)平臺技術(shù)的發(fā)展現(xiàn)狀和發(fā)展趨勢為起點，深入分析了建立大數(shù)據(jù)平臺的必要性，總結(jié)出迎合當(dāng)前公司業(yè)務(wù)形式的平臺開發(fā)最佳方案，從技術(shù)角度介紹了使用Thrift框架作為跨語言服務(wù)框架的可行性，以及當(dāng)前數(shù)據(jù)開發(fā)領(lǐng)域中常用的Hadoop，Hive，HDFS和Query Engine引擎。為滿足業(yè)務(wù)需要，將系統(tǒng)用戶設(shè)計成雙重權(quán)限管理，以業(yè)務(wù)需求為背景，合理開發(fā)和布局。
　　本課題采用百度公司內(nèi)部專門針對P

3、HP語言的開發(fā)環(huán)境框架——ODP作為開發(fā)工具。前端技術(shù)采用ODP自帶的Smarty插件完成，部分頁面的展示使用JavaScript技術(shù)。同時與元數(shù)據(jù)平臺，用戶畫像等系統(tǒng)對接，為用戶提供方便快捷的全方位服務(wù)。平臺在設(shè)計上主要根據(jù)用戶的功能需求和使用流程，分為四大模塊，分別為：查詢模塊、數(shù)據(jù)計算模塊、數(shù)據(jù)統(tǒng)計模塊和管理模塊。查詢模塊為用戶提供基礎(chǔ)的數(shù)據(jù)查詢和任務(wù)查詢信息。數(shù)據(jù)計算模塊作為核心模塊，為用戶提供建立任務(wù)，數(shù)據(jù)計算，存儲和機(jī)器調(diào)度