版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)
文檔簡介
1、隨著網(wǎng)絡(luò)時代的飛速發(fā)展,數(shù)據(jù)和信息充斥著社會生活的各個領(lǐng)域。人們的日常行為逐漸和網(wǎng)絡(luò)密不可分,人們利用網(wǎng)絡(luò)獲取新聞、進行社交活動和即時通訊,發(fā)送和記錄工作文檔等,這些行為產(chǎn)生的數(shù)據(jù)都被存儲在網(wǎng)絡(luò)中。由于網(wǎng)絡(luò)和大數(shù)據(jù)帶來的變革,人們?nèi)粘+@取的信息量在急速增加,人們獲取信息的方式也更為復雜和多樣。分布式計算技術(shù)和全文檢索技術(shù)是應(yīng)對大數(shù)據(jù)洪流的有效工具,前者能夠負載海量數(shù)據(jù),后者能夠在大規(guī)模數(shù)據(jù)中快速檢索到有用信息。
本文的研究背景
2、是分布式全文檢索系統(tǒng),該系統(tǒng)針對海量多格式文件進行存儲并支持快速文本檢索。系統(tǒng)采用分布式架構(gòu)設(shè)計,能夠并發(fā)完成文件預(yù)處理、建立索引及存儲功能,并將文件存儲在分布式文件系統(tǒng)中。分布式全文檢索系統(tǒng)包含如下結(jié)構(gòu):文件預(yù)處理前端、分布式索引平臺、分布式文件存儲系統(tǒng)、索引管理平臺和web檢索平臺。其中,文件預(yù)處理前端和分布式索引平臺協(xié)同完成對大規(guī)模多格式文件中文本內(nèi)容的索引任務(wù);索引管理平臺和web檢索平臺協(xié)同完成對索引文件的管理和檢索任務(wù);分布
3、式文件存儲系統(tǒng)負責為系統(tǒng)中的各個模塊提供文件存儲和管理支持。
本文主要設(shè)計并實現(xiàn)了分布式全文檢索系統(tǒng)中的分布式索引平臺,索引平臺基于Hadoop分布式計算庫構(gòu)建,實現(xiàn)了對海量文本文檔并發(fā)建立索引。本文提出了索引平臺的基本架構(gòu),闡述了索引平臺的分布式計算過程、索引平臺中的共享與并發(fā)機制和索引評分機制等。本文還設(shè)計實現(xiàn)了文件預(yù)處理前端中的信息過濾模塊,信息過濾模塊可實現(xiàn)基于關(guān)鍵詞的文檔過濾功能,識別系統(tǒng)不需要處理的文檔。信息過濾模
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 分布式全文檢索系統(tǒng)中索引管理及文件預(yù)處理研究.pdf
- 基于云平臺的分布式索引與檢索系統(tǒng)的設(shè)計與實現(xiàn).pdf
- 基于SolrCloud平臺的分布式全文檢索系統(tǒng)的設(shè)計與實現(xiàn).pdf
- 中文全文檢索系統(tǒng)中索引的研究.pdf
- 基于JavaEE和XML的分布式信息檢索系統(tǒng)設(shè)計與實現(xiàn).pdf
- 基于移動agent的分布式信息檢索系統(tǒng)的研究與實現(xiàn).pdf
- 分布式全文檢索中緩存系統(tǒng)研究與實現(xiàn).pdf
- 一種自治的分布式信息采集與檢索系統(tǒng).pdf
- 多層分布式技術(shù)DCOM在圖書館分布式檢索系統(tǒng)LDRS中的應(yīng)用.pdf
- 基于移動Agent和最優(yōu)搜索的分布式信息檢索系統(tǒng)研究.pdf
- 分布式人臉檢索系統(tǒng)設(shè)計與實現(xiàn).pdf
- 分布式信息檢索引擎的分析與實現(xiàn).pdf
- 一種分布式智能信息檢索系統(tǒng)的研究與實現(xiàn).pdf
- 基于移動Agent的分布式信息檢索系統(tǒng)的設(shè)計與實現(xiàn).pdf
- 云平臺分布式索引研究及其應(yīng)用.pdf
- 基于分塊式鏈表索引算法的分布式大數(shù)據(jù)全文檢索的研究.pdf
- 基于Lucene的分布式全文檢索技術(shù)的研究與應(yīng)用.pdf
- 分布式圖像計算檢索系統(tǒng)的設(shè)計與實現(xiàn).pdf
- 密文全文檢索系統(tǒng)的安全索引結(jié)構(gòu)研究.pdf
- 基于分布式的人臉檢索系統(tǒng)設(shè)計與實現(xiàn).pdf
評論
0/150
提交評論