基于NUTCH的網(wǎng)站資源智能分析系統(tǒng)設(shè)計與實現(xiàn).pdf

1、廈門大學(xué)學(xué)位論文原創(chuàng)性聲明本人呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下，獨立完成的研究成果。本人在論文寫作中參考其他個人或集體已經(jīng)發(fā)表的研究成果，均在文中以適當方式明確標明，并符合法律規(guī)范和《廈門大學(xué)研究生學(xué)術(shù)活動規(guī)范(試行)》。另外，該學(xué)位論文為()課題(組)的研究成果，獲得()課題(組)經(jīng)費或?qū)嶒炇业馁Y助，在()實驗室完成。(請在以上括號內(nèi)填寫課題或課題組負責(zé)人或?qū)嶒炇颐Q，未有此項聲明內(nèi)容的，可以不作特別聲明。)聲明人(簽名)：廛報羲≯【

2、V年f。月印日摘要隨著互聯(lián)網(wǎng)的不斷深入發(fā)展，目前互聯(lián)網(wǎng)正處在歷史發(fā)展的最快時期，各大網(wǎng)站的資源也越來越豐富，用戶訪問量大，導(dǎo)致服務(wù)器端壓力加大，響應(yīng)速度變慢。而解決這一關(guān)鍵問題的手段是緩存，也就是通過開源的squid，進行內(nèi)容的緩存。而緩存的內(nèi)容其實是有限制的，必須只對于靜態(tài)時間較長的域名和URL作緩存，故分析資源(域名和Ⅵ也)的可緩存成為了當務(wù)之急。目前緩存廠家對于網(wǎng)站的域名的動靜態(tài)分析還處于人工分析的階段，運維人員需要手工的撥測域名

3、，抽樣其中的部分針對性URL進行動靜態(tài)的分析，然后做出動靜態(tài)的人為判斷，這樣的做法，導(dǎo)致很多域名加入到緩存的白名單后，被客戶投訴，直接的原因就是對網(wǎng)站中域名的動靜態(tài)分析不準確。正確的做法是對網(wǎng)站進行全局的自動化分析，然后得到域名的動靜態(tài)分析報告。而基于NUTCH的網(wǎng)站資源分析系統(tǒng)是目前可以接受且最實用的解決方案論文的主要工作有：1、分析可緩存資源的可緩存規(guī)則，分析整理出合理的可緩存分析規(guī)則，分析規(guī)則包含域名的可緩存規(guī)則和URL的可緩存分