基于GPU的索引構(gòu)建方法研究.pdf

1、隨著互聯(lián)網(wǎng)飛速的發(fā)展,網(wǎng)絡(luò)信息量不斷增加,為提高實(shí)時(shí)檢索的效率,需要一種快速的索引方法。就搜索引擎而言,對(duì)大規(guī)模文本構(gòu)建索引涉及較大的數(shù)據(jù)量和計(jì)算量,會(huì)消耗大量計(jì)算資源,如何實(shí)現(xiàn)海量文本數(shù)據(jù)高性能索引,是搜索應(yīng)用中不可或缺的議題。
　　為提高索引構(gòu)建的性能,采用了GPU協(xié)作計(jì)算的模式,利用GPU高效并行計(jì)算能力來(lái)解決密集計(jì)算的問(wèn)題。為充分利用CPU和GPU的計(jì)算優(yōu)勢(shì),分析了索引構(gòu)建的機(jī)制,提出了一種加速索引構(gòu)建的CPU、GPU的任

2、務(wù)協(xié)作模型,分解文本索引各個(gè)過(guò)程,將文本解析、詞條索引等可并行化任務(wù)交給GPU完成,而讀寫文件、索引合并等任務(wù)則由 CPU串行完成。為提高多線程并行計(jì)算的效率,根據(jù) GPU內(nèi)存結(jié)構(gòu)特點(diǎn),設(shè)計(jì)了基于哈希表的并行索引結(jié)構(gòu),對(duì)每個(gè)詞條增加了線程獨(dú)立的頻率統(tǒng)計(jì)區(qū),在構(gòu)建索引時(shí),索引詞條按不同的索引結(jié)構(gòu)進(jìn)行分類管理,以減少內(nèi)存開銷。根據(jù)詞條類型的不同,設(shè)計(jì)了基于哈希表的立即索引的并行算法,和基于合并的并行索引算法,包括并行詞頻統(tǒng)計(jì)和索引轉(zhuǎn)換的方案