博客檢索的關(guān)鍵技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)邁向Web2.0時代，博客以極快的速度融入到社會生活中，成為互聯(lián)網(wǎng)的基礎(chǔ)服務(wù)之一。博客迅猛發(fā)展，博客數(shù)量爆炸增長，在為人們帶來豐富信息的同時也帶來了難以尋找有用信息的煩惱，使博客檢索和分類技術(shù)的研究價值日漸凸顯。本文正是在這種背景下，對博客檢索的關(guān)鍵技術(shù)展開了研究，主要研究內(nèi)容包括以下幾個方面。
　　第一，本文在歸納分析經(jīng)典搜索引擎架構(gòu)模型的基礎(chǔ)上，結(jié)合博客的特點(diǎn)設(shè)計(jì)了適合博客檢索需求的搜索引擎系統(tǒng)架構(gòu)。
　　第二

2、，本文討論包括網(wǎng)頁搜集、網(wǎng)頁信息抽取、中文分詞、索引、檢索和用戶接口在內(nèi)的一系列搜索引擎系統(tǒng)主要研究內(nèi)容，并根據(jù)博客特點(diǎn)加以改進(jìn)、優(yōu)化。例如：使用博客URL過濾規(guī)則對非博客網(wǎng)頁和非博客文章網(wǎng)頁過濾；利用博客域名多使用虛擬主機(jī)技術(shù)的特點(diǎn)改進(jìn)博客域名解析和DNS緩存；根據(jù)博客網(wǎng)頁結(jié)構(gòu)特點(diǎn)實(shí)現(xiàn)高效、準(zhǔn)確的博客正文、標(biāo)題和作者等信息的抽??；針對博客搜索的定位優(yōu)化中文分詞詞典，加入計(jì)算機(jī)、軟件、網(wǎng)絡(luò)、電子術(shù)語等IT領(lǐng)域?qū)I(yè)詞典，還針對博客語言特點(diǎn)

3、增加網(wǎng)絡(luò)流行新詞詞典，提高檢索的準(zhǔn)確率；修改開源全文檢索工具包c(diǎn)Lucene，使其更好的支持中文處理，完成倒排索引和檢索工作。
　　第三，本文提出利用博客標(biāo)簽和正文信息融合的博客文本分類算法。由于博客文本的內(nèi)容、風(fēng)格缺乏規(guī)范性，加上在領(lǐng)域內(nèi)分類，分類粒度小，為自動文本分類增加了難度。博客作者通常為文章指定一個或多個標(biāo)簽，標(biāo)簽在很大程度上概括了文章涉及的內(nèi)容，對博客文本分類有重要的作用。本文根據(jù)博客文本標(biāo)簽這一特點(diǎn)，提出了兩種標(biāo)簽信