智能網(wǎng)絡(luò)磁盤(IND)存儲(chǔ)管理方法研究.pdf

1、隨著網(wǎng)絡(luò)化和數(shù)字化技術(shù)的飛速發(fā)展,互聯(lián)網(wǎng)為廣大的用戶提供了極為豐富的信息資源,如何處理并長期保存有重要價(jià)值的海量數(shù)據(jù)信息,引起了人們的高度關(guān)注。因此,近年來海量信息存儲(chǔ)技術(shù)已經(jīng)成為計(jì)算機(jī)科學(xué)和技術(shù)領(lǐng)域的一個(gè)非常重要的研究方向和技術(shù)研究熱點(diǎn)。
　　目前在解決海量信息存儲(chǔ)技術(shù)問題的眾多技術(shù)方案中,網(wǎng)絡(luò)集群技術(shù)是一種最流行的實(shí)現(xiàn)方式,但是在網(wǎng)絡(luò)集群存儲(chǔ)系統(tǒng)中仍然還不同程度地存在著存儲(chǔ)性能瓶頸和單點(diǎn)故障問題,因此,如何有效地克服網(wǎng)絡(luò)集群存

2、儲(chǔ)方式中的存儲(chǔ)性能瓶頸和單點(diǎn)故障問題是當(dāng)前計(jì)算機(jī)存儲(chǔ)技術(shù)研究領(lǐng)域中一項(xiàng)十分重要的研究工作,具有重要的理論意義和實(shí)際意義。
　　智能網(wǎng)絡(luò)磁盤(Intelligent Network Disk,IND)存儲(chǔ)系統(tǒng)是作者課題組提出的一種新的智能化的海量信息存儲(chǔ)體系結(jié)構(gòu),由智能網(wǎng)絡(luò)磁盤(IND)組成的網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)除了具有一般網(wǎng)絡(luò)集群存儲(chǔ)系統(tǒng)的特點(diǎn)外,還能通過采用一系列的智能控制算法來防止存儲(chǔ)性能瓶頸和單點(diǎn)故障問題,維護(hù)系統(tǒng)的負(fù)載均衡,實(shí)現(xiàn)整

3、個(gè)網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)的智能化信息存儲(chǔ)。因此,智能網(wǎng)絡(luò)磁盤(IND)存儲(chǔ)系統(tǒng)是一種較理想的網(wǎng)絡(luò)集群存儲(chǔ)系統(tǒng)。
　　本文對(duì)智能網(wǎng)絡(luò)磁盤(IND)存儲(chǔ)系統(tǒng)的嵌入式IND結(jié)構(gòu)模型、IND智能存儲(chǔ)管理算法、適合IND特性的綜合負(fù)載均衡策略、消除系統(tǒng)熱點(diǎn)瓶頸的Cache調(diào)整機(jī)制以及IND在視頻服務(wù)器與高性能計(jì)算中的應(yīng)用等存儲(chǔ)管理方法進(jìn)行了系統(tǒng)和深入的研究。作者所做的主要研究工作和創(chuàng)新性成果體現(xiàn)在以下幾方面:
　　1、提出了一種具有直接聯(lián)網(wǎng)和自

4、主存儲(chǔ)功能的IND結(jié)構(gòu)模型。這種IND通過聯(lián)網(wǎng)可靈活地構(gòu)建大容量的IND存儲(chǔ)系統(tǒng),為存儲(chǔ)虛擬化增添了一種海量存儲(chǔ)的新途徑,并進(jìn)行了相應(yīng)試驗(yàn),為后續(xù)探索提供了有利條件。
　　2、提出了IND存儲(chǔ)系統(tǒng)的智能存儲(chǔ)管理算法。在深入研究Bloom filter和Hash表對(duì)存儲(chǔ)管理的重要作用的基礎(chǔ)上,設(shè)計(jì)了相應(yīng)的IND算法以控制存儲(chǔ)系統(tǒng)的讀寫過程,自動(dòng)地應(yīng)對(duì)客戶的高并發(fā)請(qǐng)求,實(shí)現(xiàn)IND之間的相互協(xié)調(diào),提高系統(tǒng)整體存儲(chǔ)效率。同時(shí),采用集中控制

5、和分散服務(wù)的管理措施,能夠克服存儲(chǔ)性能瓶頸和單點(diǎn)故障問題。大量測(cè)試結(jié)果表明,在當(dāng)前條件下,這是實(shí)現(xiàn)IND海量存儲(chǔ)行之有效的一種存儲(chǔ)方法。
　　3、提出了一種適合IND特性的綜合負(fù)載均衡策略。它能夠根據(jù)IND處理能力和任務(wù)特點(diǎn)來合理分配負(fù)載。通過統(tǒng)計(jì)讀寫訪問頻數(shù),結(jié)合時(shí)空因素來動(dòng)態(tài)調(diào)整實(shí)現(xiàn)存儲(chǔ)系統(tǒng)的負(fù)載均衡,使各IND負(fù)載盡量分布均勻。當(dāng)在高并發(fā)請(qǐng)求產(chǎn)生負(fù)載傾斜時(shí),可適時(shí)遷移調(diào)整各個(gè)IND上的文件數(shù)量。這種用文件訪問頻數(shù)動(dòng)態(tài)調(diào)整負(fù)載

6、均衡的方法,不干擾系統(tǒng)進(jìn)程,不增加通信開銷。實(shí)驗(yàn)研究表明,系統(tǒng)運(yùn)行穩(wěn)定,收到了很好的效果。
　　4、提出了一種能夠消除系統(tǒng)熱點(diǎn)瓶頸的Cache調(diào)整機(jī)制。針對(duì)讀請(qǐng)求頻繁的系統(tǒng),如IND用于Web服務(wù)器、視頻服務(wù)器,采用Cache動(dòng)態(tài)調(diào)整策略可消除系統(tǒng)的熱點(diǎn)瓶頸,減少延時(shí)和遷移通信開銷,提高了存儲(chǔ)系統(tǒng)的性能。
　　5、設(shè)計(jì)了一種IND視頻點(diǎn)播系統(tǒng),其運(yùn)行結(jié)果令人滿意,它綜合反映了IND存儲(chǔ)系統(tǒng)的特色,預(yù)示了IND的應(yīng)用前景。此外