進(jìn)化存儲(chǔ)系統(tǒng)數(shù)據(jù)組織模式研究.pdf

1、用于網(wǎng)絡(luò)環(huán)境下的企業(yè)級(jí)海量存儲(chǔ)系統(tǒng)面臨如下挑戰(zhàn)：數(shù)字化信息爆炸性增長(zhǎng)、數(shù)據(jù)的重要性和安全性日益增加、大數(shù)量的用戶群和多媒體的應(yīng)用對(duì)存取性能產(chǎn)生巨大壓力、24×7的服務(wù)需求要求極高的可用性和可維護(hù)性。現(xiàn)有的技術(shù)如高性能存儲(chǔ)磁盤陣列、附網(wǎng)存儲(chǔ)、存儲(chǔ)區(qū)域網(wǎng)等有著各自的優(yōu)勢(shì)同時(shí)有著自身的不足。問題存在的原因是現(xiàn)有存儲(chǔ)系統(tǒng)物理和邏輯的組織是一種靜態(tài)的結(jié)構(gòu)，而靜態(tài)組織結(jié)構(gòu)模型不能很好地刻畫處于不斷變化之中的系統(tǒng)。這種結(jié)構(gòu)往往只適合于特定的應(yīng)用需要，

2、而且缺少適應(yīng)不斷變化的存儲(chǔ)要求的機(jī)制。 為此，我們基于進(jìn)化存儲(chǔ)的概念及關(guān)鍵思想，將進(jìn)化的策略化分為物理進(jìn)化和邏輯進(jìn)化，詳細(xì)討論了物理進(jìn)化和邏輯進(jìn)化實(shí)現(xiàn)的主要思路，對(duì)進(jìn)化存儲(chǔ)系統(tǒng)的硬件體系結(jié)構(gòu)和軟件結(jié)構(gòu)進(jìn)行了深入的研究，并指出為實(shí)現(xiàn)進(jìn)化存儲(chǔ)系統(tǒng)需要解決的四個(gè)問題。 進(jìn)化存儲(chǔ)系統(tǒng)要求存儲(chǔ)系統(tǒng)中數(shù)據(jù)的組織以及整個(gè)系統(tǒng)中各種不同屬性數(shù)據(jù)的分布可以隨著外在的數(shù)據(jù)流輸入輸出的變化而相應(yīng)改變，以期獲得最好的系統(tǒng)性能。為了實(shí)現(xiàn)此目標(biāo)，需

3、要獲得在某一段時(shí)間內(nèi)工作負(fù)載的分布形式，并預(yù)測(cè)未來某一段時(shí)間工作負(fù)載的分布形式。為解決這個(gè)問題，我們從兩個(gè)方面入手：一是提出了基于連續(xù)度的I/O聚類算法，它能高效、可靠的發(fā)現(xiàn)密集I/O訪問的區(qū)域；其次是根據(jù)I/O請(qǐng)求局部性的特征，利用ARMA時(shí)間序列模型來預(yù)測(cè)未來密集I/O可能訪問的區(qū)域。為提高預(yù)測(cè)的準(zhǔn)確性，提出了動(dòng)態(tài)參數(shù)估計(jì)的策略，使得預(yù)測(cè)值的匹配率達(dá)到很高的比例，能充分指導(dǎo)對(duì)存儲(chǔ)系統(tǒng)的調(diào)節(jié)。同時(shí)根據(jù)進(jìn)化存儲(chǔ)系統(tǒng)的數(shù)據(jù)分布特點(diǎn)，利用所

4、獲取的I/O區(qū)域特征，在系統(tǒng)空閑時(shí)刻一次性的預(yù)取下一個(gè)時(shí)刻所有的讀請(qǐng)求的數(shù)據(jù)來改善系統(tǒng)的性能。 現(xiàn)有關(guān)于存儲(chǔ)系統(tǒng)中優(yōu)化組織結(jié)構(gòu)和數(shù)據(jù)分布的研究基本上是采用將請(qǐng)求的熱點(diǎn)區(qū)域遷移到能提供更好性能區(qū)域的策略，這必然會(huì)導(dǎo)致數(shù)據(jù)映射關(guān)系的復(fù)雜，并最終使得系統(tǒng)數(shù)據(jù)映射機(jī)制成為系統(tǒng)性能的瓶頸。為此我們根據(jù)所獲取的負(fù)載特性設(shè)計(jì)了一種為適合不同工作負(fù)載特性動(dòng)態(tài)轉(zhuǎn)換的組織結(jié)構(gòu)及數(shù)據(jù)分布轉(zhuǎn)換策略，它能最大限度的減少因組織結(jié)構(gòu)及數(shù)據(jù)分布轉(zhuǎn)換而導(dǎo)致的數(shù)據(jù)

5、遷移。為減少映射機(jī)制的復(fù)雜性和服務(wù)器的負(fù)載，并根據(jù)進(jìn)化存儲(chǔ)系統(tǒng)的特點(diǎn)，采用了兩級(jí)映射機(jī)制來提高數(shù)據(jù)映射的效率。 為獲得數(shù)據(jù)分布轉(zhuǎn)換的門限，我們通過分析閉環(huán)Fork-Join排隊(duì)網(wǎng)絡(luò)模型和存儲(chǔ)系統(tǒng)的讀寫行為，推導(dǎo)出了磁盤陣列的通用的平均響應(yīng)時(shí)間模型。在此基礎(chǔ)上推導(dǎo)出了不同RAID級(jí)別在各種I/O負(fù)載情況下的平均響應(yīng)時(shí)間，計(jì)算出在不同工作負(fù)載情況下的RAID轉(zhuǎn)換門限和最優(yōu)條帶單元大小調(diào)節(jié)門限。 在進(jìn)化存儲(chǔ)系統(tǒng)中，隨時(shí)存在著大