Memcached內(nèi)存替換算法研究.pdf

1、隨著數(shù)據(jù)量的增長及應(yīng)用的擴大，基于內(nèi)存的數(shù)據(jù)庫在數(shù)據(jù)訪問過程中扮演越來越重要的角色。內(nèi)存數(shù)據(jù)庫相對于普通持久型數(shù)據(jù)庫有著訪問速度快、輕量、易管理等特點，被廣泛應(yīng)用于各種大型數(shù)據(jù)中心。Memcached作為一種常見的內(nèi)存數(shù)據(jù)庫在Facebook、Twitter、Sina等中得到應(yīng)用，然而Memcached在內(nèi)存替換算法上仍存在無法有效地處理數(shù)據(jù)大小變化較大的不足，當(dāng)發(fā)生“鈣化”現(xiàn)象時，Memcached會出現(xiàn)命中率降低、訪問延遲增大等結(jié)果

2、，嚴(yán)重制約了各種依靠Memcahced作為數(shù)據(jù)緩存的系統(tǒng)的性能。
　　本文對Memcached所處理數(shù)據(jù)的特點進行了研究與分析，發(fā)現(xiàn)不同大小的Item的訪問對一個Slab是否成為一個熱的Slab影響程度不同，而不是以前研究中所提到的固定關(guān)系，同時研究了 Slab與 Item的關(guān)系，提出了基于影響因子與淘汰代價的Memcached內(nèi)存替換算法。影響因子是根據(jù)不同大小的Item對這個Item所在的Slab是否成為熱的Slab影響程度不

3、同而設(shè)計的，大的Item比小的Item更能使Slab成為一個熱的Slab，進而免于淘汰。同時重新定義了Item平均訪問頻度這一概念：單個item所承受的訪問請求而不是整個Slab；發(fā)現(xiàn)了不同順序的訪問對Slab是否成為熱的S la b影響程度不同這一現(xiàn)象并采用“半衰期”方法量化這種影響，最后利用這兩個因素動態(tài)地更新影響因子的大小。淘汰代價指的是淘汰一個Slab和Item的代價，在Memcached內(nèi)存不足時，通過最近訪問次數(shù)、訪問時間、

4、大小等計算淘汰一個Slab及Item的代價大小來確定是淘汰一個Slab還是Item，而不同于以前研究中提到簡單的主動與被動S la b淘汰策略。
　　改進的方法提高了Memcached在內(nèi)存不足時處理數(shù)據(jù)訪問的能力。測試結(jié)果表明，改進的方法在命中率上有5％左右的提升并將讀寫延遲降低了2%到4.5%。同時改進方案優(yōu)化了Slab和Item淘汰數(shù)量，最后將改進的方法在pNFS中進行了應(yīng)用，測試表明改進的方法降低了pNFS系統(tǒng)的讀寫延遲，