基于OCNoSQL項(xiàng)目查詢(xún)導(dǎo)入功能的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、OCNoSQL系統(tǒng)(Orange& Cloud NoSQL System)是亞信聯(lián)創(chuàng)公司為移動(dòng)、聯(lián)通、電信這三大運(yùn)營(yíng)商提供的對(duì)大數(shù)據(jù)進(jìn)行存儲(chǔ)和查詢(xún)的數(shù)據(jù)處理系統(tǒng)。由于傳統(tǒng)的文件系統(tǒng)很難存儲(chǔ)海量數(shù)據(jù)并且返回查詢(xún)結(jié)果緩慢。OCNoSQL系統(tǒng)就是為了解決這些難題而產(chǎn)生的。OCNoSQL系統(tǒng)的底層平臺(tái)使用Hadoop+MapReduce+HBase，同時(shí)系統(tǒng)本身針對(duì)于具體的業(yè)務(wù)系統(tǒng)進(jìn)行優(yōu)化，使得OCNoSQL系統(tǒng)在導(dǎo)入和查詢(xún)方面具有很高的性能。

2、就北京移動(dòng)流量系統(tǒng)而言，使用25臺(tái)機(jī)器存儲(chǔ)3+1個(gè)月的流量數(shù)據(jù)，每小時(shí)的流量數(shù)據(jù)大約是一億條，約占存儲(chǔ)100GB，每個(gè)月的數(shù)據(jù)量是10TB左右，OCNoSQL系統(tǒng)在處理這樣的數(shù)據(jù)時(shí)，每小時(shí)數(shù)據(jù)導(dǎo)入的平均時(shí)間是14min，在月表中獲取查詢(xún)結(jié)果的時(shí)間是幾百毫秒。
　　本文主要研究OCNoSQL系統(tǒng)查詢(xún)和導(dǎo)入功能的實(shí)現(xiàn)，由于OCNoSQL系統(tǒng)的存儲(chǔ)是基于HBase，所以在實(shí)現(xiàn)OCNoSQL的查詢(xún)和導(dǎo)入功能之前必須首先研究HBase的相應(yīng)

3、的功能。HBase的導(dǎo)入分為put和bulkload方式，其中put主要針對(duì)于小數(shù)據(jù)量，客戶(hù)端直接連接RegionServer，進(jìn)行數(shù)據(jù)寫(xiě)入。bulkload方式則是啟動(dòng)MapReduce框架，批量的將數(shù)據(jù)裝載入庫(kù)。HBase的查詢(xún)分為get和scan，get是通過(guò)rowkey獲得某條具體的記錄，scan是HBase通用的查詢(xún)接口，通過(guò)指定scan的startRowkey和stopRowkey，完成范圍查詢(xún)，scan接口還可以增加fil

4、ter，實(shí)現(xiàn)條件查詢(xún)。
　　OCNoSQL的查詢(xún)和導(dǎo)入接口繼承HBase原生的接口并且進(jìn)行優(yōu)化。主要從以下三個(gè)方面探討OCNoSQL的優(yōu)化策略:首先對(duì)于查詢(xún)接口，集成Redis，實(shí)現(xiàn)分布式緩存。由于Redis相當(dāng)于內(nèi)存數(shù)據(jù)庫(kù)，從Redis中獲取數(shù)據(jù)的速度要遠(yuǎn)高于讀磁盤(pán)，所以O(shè)CNoSQL系統(tǒng)將維表數(shù)據(jù)和分頁(yè)數(shù)據(jù)放在Redis中，這樣查詢(xún)過(guò)程中數(shù)據(jù)的轉(zhuǎn)義以及換頁(yè)操作只需要訪問(wèn)內(nèi)存即可，不需要與HBase直接交互。其次對(duì)于導(dǎo)入接口，優(yōu)

5、化rowkey生成規(guī)則，實(shí)現(xiàn)rowkey可配置化。對(duì)于rowkey的生成原則，需要滿(mǎn)足既可以唯一的表示一條數(shù)據(jù)又可以具有最佳長(zhǎng)度以節(jié)省存儲(chǔ)空間。所以?xún)?yōu)化后的rowkey可以通過(guò)配置由三部分組成，既rowkey的MD5+rowkey+后綴，其中MD5前綴是為了避免單個(gè)RegionServer成為熱點(diǎn)，后綴是為了增加rowkey生成的字段使得rowkey可以唯一表示一條記錄。最后為OCNoSQL系統(tǒng)提供SQL支持。在OCNoSQL中集成ph