基于面向領(lǐng)域搜索引擎的分布式共享存儲(chǔ)解決方案.pdf

1、分布式共享存儲(chǔ)技術(shù)是當(dāng)今計(jì)算機(jī)并行技術(shù)的主要發(fā)展方向之一，在服務(wù)器集群、人工智能以及搜索引擎等技術(shù)中都有很廣闊的應(yīng)用前景，特別是在搜索引擎方向，近年來有很多理論和技術(shù)的新突破。近期研究的面向領(lǐng)域的智能中文搜索引擎課題，其核心算法需要處理高維矩陣。但是單一服務(wù)器的存儲(chǔ)空間有限而無法對其進(jìn)行有效地讀寫。于是，本文結(jié)合分布式共享存儲(chǔ)技術(shù)與智能中文搜索引擎的技術(shù)特點(diǎn)，提出了基于面向領(lǐng)域的智能中文搜索引擎的分布式共享存儲(chǔ)方案--nDSM系統(tǒng)(nu

2、tch Distributed Shared Memory System)，為搜索引擎提供一個(gè)大容量的和高效的虛擬存儲(chǔ)空間和安全可靠的存儲(chǔ)服務(wù)。 本文重點(diǎn)介紹了nDSM系統(tǒng)的設(shè)計(jì)思想和體系結(jié)構(gòu)。著眼于業(yè)務(wù)需求，nDSM系統(tǒng)的設(shè)計(jì)理念是實(shí)現(xiàn)一個(gè)易操作的和易擴(kuò)充的分布式共享存儲(chǔ)系統(tǒng)，具體說就是將搜索引擎針對網(wǎng)頁相關(guān)矩陣的多線程讀寫操作建立在統(tǒng)一的共享虛擬內(nèi)存中，這個(gè)共享虛擬內(nèi)存是由nDSM的接口服務(wù)器和次服務(wù)器組，在滿足Cache一