摘要技術(shù)和查詢行為分析在高校搜索引擎中的應(yīng)用與研究.pdf

1、本文以東華大學(xué)教育資源搜索引擎為研究背景，該搜索引擎主要檢索東華大學(xué)站內(nèi)信息和全國(guó)各高校的招生信息及其精品課程信息。它不僅可以方便在校師生查找校內(nèi)信息，也可以為其他學(xué)校師生和社會(huì)人士查找各高校的招生信息以及精品課程信息提供高效服務(wù)。
　　 本文主要研究?jī)煞矫鎯?nèi)容，一方面是研究Web頁(yè)面的自動(dòng)摘要技術(shù)。研究目標(biāo)是摘要既能很好的概括頁(yè)面主題又能同時(shí)考慮用戶的查詢?cè)~；另一方面是分析用戶的查詢?nèi)罩?，主要是通過(guò)分析用戶的查詢?nèi)罩鞠蛴脩籼峁?/p>

2、查詢建議，其目的是幫助用戶更準(zhǔn)確地描述需求信息。
　　 文本摘要技術(shù)既可以壓縮文本，減少用戶的瀏覽負(fù)擔(dān)，又可以為其他文本處理技術(shù)提供支持，逐漸成為國(guó)內(nèi)外研究的熱點(diǎn)。本文研究了基于統(tǒng)計(jì)的自動(dòng)摘要方法對(duì)Web頁(yè)面生成摘要。其中涉及文本結(jié)構(gòu)分析、關(guān)鍵詞提取、句子重要度計(jì)算和摘要生成等關(guān)鍵技術(shù)。由于本文是對(duì)Web頁(yè)面生成摘要，因此摘要的生成也要考慮用戶輸入的查詢?cè)~。句子重要度的計(jì)算分為兩部分：僅考慮文本信息的句子重要度計(jì)算和結(jié)合查詢?cè)~的

3、句子重要度計(jì)算，其中，第一部分可以事先計(jì)算以提高摘要生成的效率。最后，刪除冗余句子后提取重要度高的句子作為摘要。
　　 在計(jì)算句子重要度時(shí)需要考慮多方面因素，需要對(duì)多個(gè)影響因素進(jìn)行加權(quán)平均。本文主要通過(guò)遺傳算法訓(xùn)練加權(quán)系數(shù)。由于個(gè)體的適應(yīng)值差異較小，為了提高優(yōu)秀個(gè)體的選擇概率，對(duì)遺傳算法的選擇算子進(jìn)行了改進(jìn)。遺傳算法易于出現(xiàn)早熟收斂，當(dāng)種群出現(xiàn)早熟收斂時(shí)，利用邏輯斯諦方程，以當(dāng)前種群多個(gè)最優(yōu)個(gè)體作為初始值，重新生成種群，使種群恢

4、復(fù)多樣性，同時(shí)保留最優(yōu)個(gè)體。
　　 為了提升用戶體驗(yàn)度，幫助用戶準(zhǔn)確描述需求信息，可以通過(guò)挖掘用戶查詢?nèi)罩?，?duì)相關(guān)查詢?cè)~進(jìn)行聚類。在用戶提交查詢請(qǐng)求后，搜索引擎在返回結(jié)果記錄時(shí)同時(shí)返回相關(guān)查詢建議。本文分析了K-Means聚類算法，并對(duì)算法存在的問(wèn)題進(jìn)行了深入的分析，然后針對(duì)這些問(wèn)題提出了解決方法，進(jìn)一步利用修改后的K-Means算法對(duì)用戶查詢?nèi)罩具M(jìn)行聚類。在聚類時(shí)，距離的計(jì)算不僅考慮URL之間的歐式距離，同時(shí)還考慮了查詢?cè)~之間

5、的相似性。系統(tǒng)根據(jù)用戶提交的查詢?cè)~，查找所屬類，并返回與當(dāng)前查詢?cè)~最相關(guān)的查詢?cè)~作為查詢建議。為了驗(yàn)證算法的有效性，本文利用修改后的算法對(duì)人工分類好的數(shù)據(jù)進(jìn)行聚類，結(jié)果發(fā)現(xiàn)算法取得了很好的效果。
　　 最后，本文利用遺傳算法訓(xùn)練語(yǔ)料庫(kù)中的文本，得到影響因素的加權(quán)系數(shù)，然后利用得到的加權(quán)系數(shù)對(duì)一篇Web頁(yè)面生成摘要，該摘要結(jié)果能很好的概括文本主題。實(shí)驗(yàn)通過(guò)分析用戶查詢?nèi)罩?，并利用修改后的聚類算法?duì)查詢?cè)~進(jìn)行聚類，結(jié)果表明，推薦查詢