基于Swift的小對(duì)象訪問(wèn)性能優(yōu)化研究與實(shí)現(xiàn).pdf

1、伴隨著互聯(lián)網(wǎng)的快速發(fā)展與普及，越來(lái)越多的個(gè)人用戶在使用網(wǎng)絡(luò)應(yīng)用的同時(shí)產(chǎn)生大量的數(shù)據(jù)。而云技術(shù)的發(fā)展也使得更多的企業(yè)用戶選擇將數(shù)據(jù)服務(wù)遷移到云中。在電子商務(wù)、社交網(wǎng)站、視頻服務(wù)等網(wǎng)絡(luò)應(yīng)用中，服務(wù)端每天都產(chǎn)生大量的小文件，久而久之小文件的數(shù)量呈幾何級(jí)增長(zhǎng)。傳統(tǒng)的存儲(chǔ)系統(tǒng)往往針對(duì)大文件進(jìn)行設(shè)計(jì)，在面對(duì)小文件存儲(chǔ)時(shí)往往性能低下。本文以O(shè)penstack Swift分布式存儲(chǔ)系統(tǒng)為實(shí)驗(yàn)平臺(tái)，利用小文件存儲(chǔ)的特點(diǎn)，對(duì)存儲(chǔ)系統(tǒng)讀寫(xiě)性能優(yōu)化進(jìn)行研究。<

2、br>　　首先，Swift中的對(duì)象服務(wù)通過(guò)調(diào)用底層文件系統(tǒng)對(duì)數(shù)據(jù)進(jìn)行讀寫(xiě)。在面對(duì)小文件的隨機(jī)訪問(wèn)時(shí)，存儲(chǔ)節(jié)點(diǎn)需要頻繁從磁盤(pán)中讀取元數(shù)據(jù)，浪費(fèi)了大量的磁盤(pán)I/O。本文提出對(duì)文件進(jìn)行合并存取的Swift改進(jìn)方案，并在內(nèi)存中建立文件的索引，減少元數(shù)據(jù)使用空間。存儲(chǔ)節(jié)點(diǎn)可以將所有的文件元數(shù)據(jù)緩存在內(nèi)存中，在小文件訪問(wèn)時(shí)只需要一次連續(xù)的磁盤(pán)I/O操作，以此改善Swift存儲(chǔ)系統(tǒng)在處理小文件場(chǎng)景下的隨機(jī)讀寫(xiě)性能。通過(guò)對(duì)文件組織形式的改變，以虛擬分區(qū)

3、進(jìn)行文件整合，以此降低數(shù)據(jù)遷移時(shí)對(duì)系統(tǒng)帶寬的影響。
　　其次，對(duì)于分布式存儲(chǔ)系統(tǒng)，其外部的CDN服務(wù)往往具備緩存功能。時(shí)間局部性強(qiáng)的數(shù)據(jù)通過(guò)被外部緩存被讀取，從而導(dǎo)致存儲(chǔ)系統(tǒng)本身的數(shù)據(jù)緩存命中率降低。本文提出基于預(yù)取緩存的Swift改進(jìn)框架。將對(duì)文件訪問(wèn)的日志記錄進(jìn)行分析，利用數(shù)據(jù)挖掘的方式計(jì)算出文件的訪問(wèn)模式。將相關(guān)性強(qiáng)的小文件進(jìn)行合并存儲(chǔ)，并且在訪問(wèn)過(guò)程中對(duì)文件進(jìn)行預(yù)取，用以增加Swift存儲(chǔ)系統(tǒng)的數(shù)據(jù)緩存效果。在緩存過(guò)程中對(duì)

4、文件的相關(guān)率進(jìn)行驗(yàn)證，降低錯(cuò)誤的預(yù)取對(duì)系統(tǒng)性能的影響。
　　最后，本文通過(guò)Cosbench模擬不同大小的文件讀寫(xiě)，對(duì)整合了合并存儲(chǔ)優(yōu)化模塊的Swift存儲(chǔ)系統(tǒng)進(jìn)行測(cè)評(píng)，驗(yàn)證對(duì)小文件讀寫(xiě)的性能的改進(jìn)效果。并通過(guò)真實(shí)的訪問(wèn)日志，模擬其訪問(wèn)過(guò)程，分析預(yù)取模塊對(duì)系統(tǒng)性能的影響。實(shí)驗(yàn)表明，基于合并存儲(chǔ)的方式在面對(duì)越小的文件時(shí)，系統(tǒng)帶寬提升效果越明顯。合并的方式也可以有效的降低數(shù)據(jù)遷移對(duì)系統(tǒng)吞吐量的影響?；谖募P(guān)聯(lián)的預(yù)取策略雖然會(huì)降低系統(tǒng)帶