面向監(jiān)測數(shù)據(jù)的輕量級范圍索引技術(shù)研究.pdf

1、在利用傳感器對環(huán)境進(jìn)行監(jiān)測、記錄所監(jiān)測對象狀態(tài)的過程中會產(chǎn)生大量的數(shù)據(jù)信息，這些數(shù)據(jù)被廣泛地應(yīng)用于科學(xué)研究。數(shù)據(jù)采集速率的提升使現(xiàn)有的關(guān)系數(shù)據(jù)庫不能滿足這種高吞吐量的寫密集型任務(wù)的要求，而且不能像非關(guān)系數(shù)據(jù)庫那樣靈活、有效地處理大規(guī)模的非結(jié)構(gòu)化數(shù)據(jù)。HBase作為一種鍵值存儲系統(tǒng)能夠處理這種大規(guī)模、非結(jié)構(gòu)化的數(shù)據(jù)，并且能夠處理這種寫密集型任務(wù)。HBase提供的按照主鍵查詢數(shù)據(jù)的方式滿足了對主鍵查詢的要求，但是對非主鍵的查詢要花費(fèi)大量的時(shí)

2、間進(jìn)行全表掃描。針對這一問題，本文研究了HBase非主鍵數(shù)據(jù)索引、索引存儲和數(shù)據(jù)異常預(yù)警問題，設(shè)計(jì)和實(shí)現(xiàn)了智慧糧倉云服務(wù)平臺，并進(jìn)行了實(shí)際系統(tǒng)的驗(yàn)證。
　　針對HBase鍵值對索引對非主鍵查詢效率低下的問題，本文提出了對非主鍵建立索引來檢索存儲在HBase中的監(jiān)測數(shù)據(jù)的方法，這種方法利用了監(jiān)測數(shù)據(jù)連續(xù)性的特點(diǎn)，設(shè)計(jì)了一種新型的范圍索引算法，解決了非主鍵查詢效率低下的問題。
　　針對索引文件的安全和完整性問題，利用HDFS來存

3、儲索引文件，由HDFS來保證索引文件的安全和完整性。同時(shí)方便了其他用戶對索引的使用，提高了索引的利用率。
　　針對傳統(tǒng)的記錄級索引，如B+樹、LSM樹在索引更新時(shí)會產(chǎn)生嚴(yán)重的索引維護(hù)成本，不能滿足傳感數(shù)據(jù)這種寫密集型任務(wù)的要求。本文提出了分組建立索引的方法，它是一種輕量級索引結(jié)構(gòu)，創(chuàng)建的索引文件相比傳統(tǒng)的記錄級索引產(chǎn)生的文件小，并且降低了索引的維護(hù)成本，提高了索引創(chuàng)建的速度。
　　針對被監(jiān)測對象的異常以及傳感器異常的問題，本