分布式WEB信息存儲關(guān)鍵技術(shù)研究.pdf

1、隨著Internet應用的普及以及信息的飛速增長，越來越多的企業(yè)或政府組織開始采用企業(yè)競爭情報系統(tǒng)來收集、分析和管理他們所需的Web情報信息。這就對企業(yè)競爭情報系統(tǒng)中的關(guān)鍵技術(shù)——分布式Web信息存儲提出了巨大挑戰(zhàn)。如何構(gòu)建大規(guī)模、高效率、易于擴展、高可靠性的應用于企業(yè)競爭情報的存儲系統(tǒng)，是分布式Web信息存儲技術(shù)迫切需要解決的問題。
　　本文從如何提供高可用、高可靠、高效率的分布式Web信息存儲服務的角度出發(fā)，在對分布式存儲領域

2、的最新研究成果進行了系統(tǒng)學習和總結(jié)的基礎上，結(jié)合企業(yè)競爭情報應用的背景，圍繞著分布式存儲機制、節(jié)點內(nèi)Web信息存儲組織結(jié)構(gòu)以及Web信息版本管理這三個方面進行了深入細致的研究，取得了若干創(chuàng)新和成果。
　　1．本文提出了一種分布式Web信息存儲的加權(quán)輪詢負載平衡算法，并應用該算法建立起分布式Web信息存儲模型。該模型通過負載平衡算法將各個Web信息存儲節(jié)點的磁盤空間組織成一個統(tǒng)一存儲池，利用目錄管理服務器來對存儲池進行分配和管理。該

3、模型以星形拓撲結(jié)構(gòu)來組織節(jié)點，并采用Web信息自適應通道傳輸策略，為用戶提供高效、透明的存儲服務。
　　2．本文針對Web信息文件小數(shù)量多的特點，提出了一種Web信息存儲文件結(jié)構(gòu)——PAK文件結(jié)構(gòu)。該結(jié)構(gòu)將多個Web文檔經(jīng)過高效壓縮、分類處理、統(tǒng)計信息等操作，統(tǒng)一打包，節(jié)省了磁盤空間，又避免了頻繁的磁盤I/O操作，提高了存儲的效率。同時，采用PAK文件結(jié)構(gòu)，也為用戶各種不同的存取模式提供了良好的接口。
　　3．本文提出了一種