基于主動(dòng)和被動(dòng)模式的分布式代理緩存服務(wù)器的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、網(wǎng)絡(luò)應(yīng)用的快速發(fā)展勢(shì)必增加網(wǎng)絡(luò)的負(fù)擔(dān)(據(jù)統(tǒng)計(jì),高于2/3的網(wǎng)絡(luò)擁塞是由Web所造成的),如何既減輕網(wǎng)絡(luò)負(fù)擔(dān)又能帶來更好的網(wǎng)絡(luò)體驗(yàn)?這些都成為了網(wǎng)絡(luò)用戶頗為關(guān)心的話題。傳統(tǒng)的代理服務(wù)器一般功能相對(duì)單一,而且在對(duì)web頁面的緩存上往往力不從心。
　　 本文結(jié)合最新的HTTP1.1協(xié)議[1]和網(wǎng)絡(luò)爬蟲技術(shù),提出一種基于主動(dòng)和被動(dòng)模式的分布式代理緩存服務(wù)器的設(shè)計(jì)與實(shí)現(xiàn)。服務(wù)器充分利用Linux kernel2.6的新特性,如epoll異

2、步事件響應(yīng)機(jī)制[2-4]對(duì)網(wǎng)絡(luò)I/O進(jìn)行優(yōu)化。同時(shí)為了降低原始內(nèi)存的零散申請(qǐng)和釋放,并根據(jù)Solaris系統(tǒng)提出的Slab內(nèi)核對(duì)象內(nèi)存分配機(jī)制,實(shí)現(xiàn)了基于常用對(duì)象的內(nèi)存池結(jié)構(gòu),極大得減少了內(nèi)存的申請(qǐng)和釋放。為了減少網(wǎng)絡(luò)攻擊對(duì)緩存文件的影響和實(shí)現(xiàn)負(fù)載均衡,系統(tǒng)采取一個(gè)前端重定向器加多個(gè)后端緩存服務(wù)器的架構(gòu)。在系統(tǒng)的負(fù)載低于某個(gè)閥值時(shí),將啟動(dòng)主動(dòng)模式。另外,為滿足各種定時(shí)需求,如連接超時(shí),文件過期等,設(shè)計(jì)了定時(shí)器隊(duì)列;由于需要經(jīng)常進(jìn)行DNS