海量文本數(shù)據(jù)的分布式搜索技術(shù)的研究.pdf

1、在當(dāng)今數(shù)據(jù)量呈爆炸式增長(zhǎng)的時(shí)代背景下，PB級(jí)的海量文本數(shù)據(jù)需要被有效存儲(chǔ)，這對(duì)傳統(tǒng)存儲(chǔ)系統(tǒng)的數(shù)據(jù)管理方式提出了新的挑戰(zhàn)：層次化的命名空間管理方式不再適用，急需一種能夠基于內(nèi)容、屬性進(jìn)行搜索的數(shù)據(jù)管理方式來滿足快速定位文本文檔的需求。
　　設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于海量文本數(shù)據(jù)的分布式搜索系統(tǒng)DS-MTD，該系統(tǒng)基于Lucene倒排索引框架，將索引文件進(jìn)行分片并存儲(chǔ)到不同的節(jié)點(diǎn)上，保證了系統(tǒng)的高性能和高擴(kuò)展性；綜合考慮數(shù)據(jù)內(nèi)容匹配度、新鮮

2、度、熱度不同維度對(duì)用戶搜索請(qǐng)求與文檔匹配度的影響，采用層析分析法決策各維度的權(quán)重值，并根據(jù)其最終匹配度對(duì)搜索結(jié)果進(jìn)行排序；同時(shí)結(jié)合Lingo聚類算法，將搜索結(jié)果按照不同的主題進(jìn)行歸類，方便用戶在搜索結(jié)果中查找內(nèi)容相似的文檔。
　　測(cè)試結(jié)果表明，DS-MTD系統(tǒng)具有很高的擴(kuò)展性，其多維度求解文檔匹配度的方法能夠保證搜索結(jié)果中內(nèi)容相關(guān)并且是最近最新的比較熱門的數(shù)據(jù)文檔排列在前面，同時(shí)采用Lingo聚類算法能夠自動(dòng)從文檔中抽取主題并按照