基于垂直搜索引擎的結(jié)構(gòu)化信息處理技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，搜索引擎在不斷滿足巨大的信息資源量的需求下，卻無法兼顧到信息搜索的準(zhǔn)確度和及時(shí)性，此時(shí)垂直搜索引擎為滿足用戶需求應(yīng)運(yùn)而生，本文通過對(duì)垂直搜索引擎進(jìn)行了深入研究，并針對(duì)現(xiàn)有模型及其所存在的問題提出一種改進(jìn)的垂直搜索引擎模型，依據(jù)該模塊特點(diǎn)對(duì)結(jié)構(gòu)化數(shù)據(jù)的去重和分類算法進(jìn)行改進(jìn)，通過兩個(gè)改進(jìn)算法在改進(jìn)的垂直搜索引擎模型中的實(shí)驗(yàn)應(yīng)用，得出改進(jìn)的垂直搜索引擎模型進(jìn)一步提高了垂直搜索引擎的實(shí)時(shí)性和準(zhǔn)確性。新模型設(shè)計(jì)的主要方案是對(duì)現(xiàn)

2、有模型新增加一個(gè)數(shù)據(jù)二次處理的模塊，該模塊主要對(duì)抽取到的非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)向結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換。模塊的主要研究內(nèi)容是對(duì)網(wǎng)頁信息的去重處理和分類處理。因此本文的主要研究內(nèi)容和創(chuàng)新點(diǎn)分為以下三點(diǎn):
　　 (1)在參考現(xiàn)有的電子商務(wù)領(lǐng)域廣泛應(yīng)用的垂直搜索引擎的基礎(chǔ)上，提出一種改進(jìn)的垂直搜索引擎應(yīng)用模型，結(jié)合本文改進(jìn)的去重算法和分類算法使用查全率和準(zhǔn)確率兩個(gè)指標(biāo)評(píng)估該模型的實(shí)用性和可行性。
　　 (2)提出一種新的信息處理技

3、術(shù)的網(wǎng)頁去重算法，并以時(shí)間復(fù)雜度、空間復(fù)雜度、查全率和準(zhǔn)確率作為四個(gè)指標(biāo)分析該算法在改進(jìn)的垂直搜索引擎模型中的可行性和健壯性，以及對(duì)信息檢索效率的提高。
　　 (3)對(duì)現(xiàn)有的一種分類算法進(jìn)行改進(jìn)，進(jìn)而使得適合于本文提出的垂直搜索引擎的結(jié)構(gòu)化數(shù)據(jù)處理計(jì)算，該算法的結(jié)構(gòu)包括詞條數(shù)組和每個(gè)詞條的文本鏈表。詞條數(shù)組指將所有的訓(xùn)練文本分詞，經(jīng)過特征提取后的所有特征項(xiàng)組成的數(shù)組，存儲(chǔ)在數(shù)組中的是特征項(xiàng)（詞條）的ID號(hào)。詞條數(shù)組中的每個(gè)詞條(