中文農(nóng)業(yè)搜索網(wǎng)站的設(shè)計(jì)與實(shí)現(xiàn)

1、中文農(nóng)業(yè)搜索網(wǎng)站的設(shè)計(jì)與實(shí)現(xiàn)中文農(nóng)業(yè)搜索網(wǎng)站的設(shè)計(jì)與實(shí)現(xiàn)周國民，樊景超，周義桃周國民，樊景超，周義桃（中國農(nóng)業(yè)科學(xué)院農(nóng)業(yè)信息研究所，北京100081）0引言引言搜索引擎作為解決用戶要在信息海洋里查找信息難這個(gè)問題而出現(xiàn)的技術(shù)，己成為互聯(lián)網(wǎng)上非常重要的網(wǎng)絡(luò)導(dǎo)航服務(wù)。目前，web網(wǎng)上擁有超100億的靜態(tài)網(wǎng)頁。而當(dāng)前的通用搜索引擎所能檢索的網(wǎng)頁一般不超過web網(wǎng)的3040%，即使是用戶最多的Google，其檢索的網(wǎng)頁也只在30億左右。另一方面

2、，web技術(shù)的發(fā)展使更多的網(wǎng)頁以動(dòng)態(tài)形式存在，形成所謂的隱藏web網(wǎng)，據(jù)估計(jì)這部分的信息是整個(gè)靜態(tài)Web空間的500倍以上，而且有遞增的趨勢(shì)。由于搜索引擎在Intemet中所具有的重要地位，它一直就是用戶關(guān)心的熱點(diǎn)之一，也是各家相關(guān)公司全力開發(fā)的技術(shù)焦點(diǎn)。我國各類網(wǎng)站發(fā)展非常迅速，而農(nóng)業(yè)網(wǎng)站僅占這些網(wǎng)站的很小一部分，因此通過綜合的搜索引擎網(wǎng)站，如google、百度等，會(huì)搜索到很多無關(guān)的信息。據(jù)不完全統(tǒng)計(jì)，在農(nóng)業(yè)領(lǐng)域現(xiàn)有各種網(wǎng)站1萬多個(gè)，

3、涉及農(nóng)、林、牧、漁、水利、氣象、農(nóng)墾、鄉(xiāng)鎮(zhèn)企業(yè)、及其它農(nóng)業(yè)部門，網(wǎng)頁數(shù)200多萬個(gè)，如何僅僅針對(duì)這些農(nóng)業(yè)網(wǎng)站中的信息，開發(fā)一個(gè)專業(yè)化的搜索引擎，實(shí)現(xiàn)農(nóng)業(yè)信息的精確搜索是本文研究的出發(fā)點(diǎn)。1系統(tǒng)結(jié)構(gòu)與功能系統(tǒng)結(jié)構(gòu)與功能中文農(nóng)業(yè)網(wǎng)頁搜索網(wǎng)站（簡稱“農(nóng)搜”）由網(wǎng)頁抓取模塊、全文分析與索引模塊、全文與語義檢索引擎、全文和語義索引庫、以及交互接口模塊構(gòu)成。如圖1所示。網(wǎng)頁抓取模塊是根據(jù)中文農(nóng)業(yè)網(wǎng)站地址，按照特定的抓取算法，從網(wǎng)絡(luò)上實(shí)時(shí)采集中文農(nóng)業(yè)

4、網(wǎng)頁。全文分析與索引模塊包括全文分析與索引、語義分析與索引兩個(gè)部分，它把采集回來的中文網(wǎng)頁進(jìn)行逐個(gè)處理，分別構(gòu)建全文索引和語義索引，并保存到全文和語義索引庫中。全文與語義檢索引擎則根據(jù)用戶的查詢請(qǐng)求生成檢索結(jié)果集。交互接口模塊完成對(duì)查詢語句的分析和檢索結(jié)果的高亮顯示以及網(wǎng)站直達(dá)功能?！稗r(nóng)搜”的主要功能包括如下五個(gè)方面：①網(wǎng)頁全文檢索功能，用戶查詢時(shí)，提供與關(guān)鍵字匹配的結(jié)果列表。②網(wǎng)站直達(dá)功能，用戶點(diǎn)擊檢索結(jié)果的標(biāo)題超鏈接，即可跳轉(zhuǎn)到網(wǎng)頁

5、的互聯(lián)網(wǎng)地址。③網(wǎng)頁評(píng)分功能，全文引擎和語義引擎根據(jù)各自的評(píng)分算法，對(duì)網(wǎng)頁進(jìn)行平分和排名。④內(nèi)容提示功能，全文檢索把輸出的內(nèi)容含有檢索詞的部分高亮顯示，提示用戶。⑤語義相似網(wǎng)頁檢索功能，根據(jù)用戶的選擇文檔，進(jìn)行二次檢索并輸出相關(guān)網(wǎng)頁?！稗r(nóng)搜”的主頁面如圖2。它特點(diǎn)包括兩個(gè)方面。一是，采用了獨(dú)特的智能頁面分析技術(shù)，實(shí)現(xiàn)了中文農(nóng)業(yè)網(wǎng)頁信息的結(jié)構(gòu)化索引，用戶輸入關(guān)鍵詞后，返回的結(jié)果集中不再是沒有關(guān)聯(lián)和分類的網(wǎng)頁集，而是分成了農(nóng)業(yè)科研單位、農(nóng)業(yè)

6、專家人才、農(nóng)業(yè)實(shí)用技術(shù)等分門別類的相關(guān)網(wǎng)頁信息集，在專業(yè)化、大眾化信息服務(wù)的基礎(chǔ)上，實(shí)現(xiàn)了精準(zhǔn)、個(gè)性化的信息服務(wù)。二是，實(shí)現(xiàn)了“全文檢索語義檢索”的智能檢索引擎，通過使用“全文檢索語義檢索”的智能檢索引擎技術(shù)，不但實(shí)現(xiàn)了信息的查全率，這點(diǎn)和主流的檢索引擎是一樣，同時(shí)比較好的實(shí)現(xiàn)了信息的查準(zhǔn)率。用戶通過關(guān)鍵詞后利用“全文檢索引擎”查到一系列網(wǎng)頁后，“農(nóng)搜”可以根據(jù)用戶指定的任何一個(gè)網(wǎng)頁，利用“語義檢索引擎”查到這個(gè)頁面的最相似頁面。2關(guān)鍵

7、技術(shù)關(guān)鍵技術(shù)“農(nóng)搜”實(shí)現(xiàn)了“全文檢索語義檢索”的智能檢索引擎，由于基于字的或者基于詞的全文檢索引擎已經(jīng)有很多這方面的研究，本文不再敘述，下面重點(diǎn)介紹我們?cè)O(shè)計(jì)的語義檢索引擎所采用的技術(shù)和實(shí)現(xiàn)原理。1988年S.T.Dumais等人提出了隱含語義索引（LatentSemanticIndexing）方法，該方法是向量空間模型的一個(gè)延伸分支，它是通過統(tǒng)計(jì)方法分析大量的文本集，自動(dòng)生成關(guān)鍵字——概念（語義）之間映射規(guī)則，提取并量化這些潛在的語義結(jié)

8、構(gòu)，消除同義詞、多義詞的影響，提高文檔表示的準(zhǔn)確性。隱含語義索引方法的提出，使得基于向量空間模型的檢索研究獲得新生，在信息過濾、信息分類、信息聚類、交叉語言檢索、信息理解等眾多領(lǐng)域中得到了廣泛的應(yīng)用。使用隱含語義索引方法，需要構(gòu)建隱含語義索引空間，SVD是最早提出使用，也是目前普遍使用的典型隱含語義索引空間的構(gòu)造方法。但基于SVD的隱含語義索引方法不太合適于大規(guī)模動(dòng)態(tài)變化的數(shù)據(jù)集，而互聯(lián)網(wǎng)上信息的一個(gè)顯著特點(diǎn)是數(shù)據(jù)量大和數(shù)據(jù)變化快，因此

9、，使用這種技術(shù)路線來索引和檢索互聯(lián)網(wǎng)上的海量信息并不很成功。1996年T.G.Kolda和D.P.O’Leary提出了一種改進(jìn)算法來構(gòu)建隱含語義索引空間，即SDD算法（SeiscreteDecomposition）。日本國家農(nóng)業(yè)研究中心（NARC）農(nóng)業(yè)綜合研究所農(nóng)業(yè)情報(bào)研究部的研究人員將SDD算法用于日文網(wǎng)頁和中文網(wǎng)頁的信息檢索，取得了比較好的應(yīng)用效果，證明了基于SDD算法隱含語義索引方法能夠有效地處理大規(guī)模動(dòng)態(tài)變化的數(shù)據(jù)集。目前國內(nèi)對(duì)

10、基于SDD算法隱含語義索引方法的研究和應(yīng)用很少。2003年，我們與日本國家農(nóng)業(yè)研究中心（NARC）農(nóng)業(yè)綜合研究所農(nóng)業(yè)情報(bào)研究部合作研究，對(duì)基于SDD算法隱含語義索引方法進(jìn)行消化和吸收，并將SDD算法應(yīng)用到中文網(wǎng)頁的語義檢索中。SDD算法的基本思想是采用盡量少的存儲(chǔ)空間來保存隱含語義索引空間向量。在向量空間模型中，令D=D1，D2，…，Dn表示由m個(gè)詞和n個(gè)文檔構(gòu)成的文檔集合，其中Dj=(d1j，d2j，…，dmj)T是文檔向量，dij上