面向監(jiān)測(cè)數(shù)據(jù)的輕量級(jí)范圍索引技術(shù)研究.pdf

1、在利用傳感器對(duì)環(huán)境進(jìn)行監(jiān)測(cè)、記錄所監(jiān)測(cè)對(duì)象狀態(tài)的過(guò)程中會(huì)產(chǎn)生大量的數(shù)據(jù)信息，這些數(shù)據(jù)被廣泛地應(yīng)用于科學(xué)研究。數(shù)據(jù)采集速率的提升使現(xiàn)有的關(guān)系數(shù)據(jù)庫(kù)不能滿(mǎn)足這種高吞吐量的寫(xiě)密集型任務(wù)的要求，而且不能像非關(guān)系數(shù)據(jù)庫(kù)那樣靈活、有效地處理大規(guī)模的非結(jié)構(gòu)化數(shù)據(jù)。HBase作為一種鍵值存儲(chǔ)系統(tǒng)能夠處理這種大規(guī)模、非結(jié)構(gòu)化的數(shù)據(jù)，并且能夠處理這種寫(xiě)密集型任務(wù)。HBase提供的按照主鍵查詢(xún)數(shù)據(jù)的方式滿(mǎn)足了對(duì)主鍵查詢(xún)的要求，但是對(duì)非主鍵的查詢(xún)要花費(fèi)大量的時(shí)

2、間進(jìn)行全表掃描。針對(duì)這一問(wèn)題，本文研究了HBase非主鍵數(shù)據(jù)索引、索引存儲(chǔ)和數(shù)據(jù)異常預(yù)警問(wèn)題，設(shè)計(jì)和實(shí)現(xiàn)了智慧糧倉(cāng)云服務(wù)平臺(tái)，并進(jìn)行了實(shí)際系統(tǒng)的驗(yàn)證。
　　針對(duì)HBase鍵值對(duì)索引對(duì)非主鍵查詢(xún)效率低下的問(wèn)題，本文提出了對(duì)非主鍵建立索引來(lái)檢索存儲(chǔ)在HBase中的監(jiān)測(cè)數(shù)據(jù)的方法，這種方法利用了監(jiān)測(cè)數(shù)據(jù)連續(xù)性的特點(diǎn)，設(shè)計(jì)了一種新型的范圍索引算法，解決了非主鍵查詢(xún)效率低下的問(wèn)題。
　　針對(duì)索引文件的安全和完整性問(wèn)題，利用HDFS來(lái)存

3、儲(chǔ)索引文件，由HDFS來(lái)保證索引文件的安全和完整性。同時(shí)方便了其他用戶(hù)對(duì)索引的使用，提高了索引的利用率。
　　針對(duì)傳統(tǒng)的記錄級(jí)索引，如B+樹(shù)、LSM樹(shù)在索引更新時(shí)會(huì)產(chǎn)生嚴(yán)重的索引維護(hù)成本，不能滿(mǎn)足傳感數(shù)據(jù)這種寫(xiě)密集型任務(wù)的要求。本文提出了分組建立索引的方法，它是一種輕量級(jí)索引結(jié)構(gòu)，創(chuàng)建的索引文件相比傳統(tǒng)的記錄級(jí)索引產(chǎn)生的文件小，并且降低了索引的維護(hù)成本，提高了索引創(chuàng)建的速度。
　　針對(duì)被監(jiān)測(cè)對(duì)象的異常以及傳感器異常的問(wèn)題，本