基于文本挖掘的輕量級搜索引擎.pdf

1、互聯(lián)網(wǎng)的信息總量在人類進入互聯(lián)網(wǎng)時代后出現(xiàn)了爆炸式的增長，一般的跨國互聯(lián)網(wǎng)的公司每天的數(shù)據(jù)吞吐量都在幾十PB，如何有效的利用這些信息資源日益成為人們關(guān)注和研究的焦點?；ヂ?lián)網(wǎng)的信息的數(shù)據(jù)格式也從web2.0時代可以呈現(xiàn)了多樣化的發(fā)展，有視頻，音頻，鏈接和圖像等等。如何在面對著這些海量信息時候，很好的利用這些信息，并且挖掘出對自己有用的資料或者信息是互聯(lián)網(wǎng)IT公司所面臨的重大問題，因此，一個性能優(yōu)越可以承擔(dān)數(shù)億網(wǎng)名的訪問量的的搜索引擎就顯得

2、非常必要。搜索引擎就是為了解決這樣的難題應(yīng)用而生。通過網(wǎng)絡(luò)爬蟲獲取大量的相關(guān)資料和信息，采用機器學(xué)習(xí)或者數(shù)據(jù)挖掘的算法進行數(shù)據(jù)挖掘，進一步分類和提取，將用戶最想要的搜索信息返回給用戶。
　　搜索引擎作為互聯(lián)網(wǎng)發(fā)展至關(guān)重要的一種應(yīng)用，已經(jīng)成為互聯(lián)網(wǎng)各個領(lǐng)域的制高點，搜索引擎領(lǐng)域也是互聯(lián)網(wǎng)應(yīng)用中不多見的以核心技術(shù)為其命脈的領(lǐng)域。當(dāng)今時代比較成功的商業(yè)搜索引擎是美國的Google搜索引擎，其次緊隨其后是最大的中文搜索引擎中國的百度公司。

3、美國微軟公司和雅虎合作推出的必應(yīng)搜索引擎也在美國占據(jù)了30％的市場份額，目前中國奇虎公司在中國的市場份額僅次于百度，也是一個異軍突起的新生搜索引擎，上述的搜索引擎基本構(gòu)成了主流的成功的并且成熟的商業(yè)搜索引擎。
　　目前主流搜索引擎主要使用的Memcache緩存系統(tǒng)已經(jīng)出現(xiàn)了性能瓶頸，一些公司幾千臺的Memcached集群很常見.Memcached和redis都基于內(nèi)存,Memcached偏向cache，Redis更多扮演數(shù)據(jù)庫的角

4、色，支持更豐富的數(shù)據(jù)類型;論到單個核上的性能，在單條數(shù)據(jù)不大的情況下，Re dis會更好。因為Redis是單線程的，只能使用一個核。而Memcached是多線程的，所以對一個實例來說，性能上肯定是Redis占優(yōu)勢。Redis和Memcached不同的地方在于前者并沒有選擇libevent。libevent為了迎合通用性造成代碼龐大(目前Redis代碼還不到libevent的1/3)及犧牲了在特定平臺的不少性能。Redis用libeven

5、t中兩個文件修改實現(xiàn)了自己的epoll event loop。所以本論文采用的Redis更多扮演的是數(shù)據(jù)庫的功能，其自帶數(shù)據(jù)持久化。在小型數(shù)據(jù)量和單線程模式的效率是遠遠領(lǐng)先于傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)Memcached內(nèi)存對象緩存系統(tǒng)。
　　本論文的引擎屬于目錄式的搜索引擎，重點著力解決上述緩存和性能優(yōu)化問題。主要用于為某中小學(xué)教育資源網(wǎng)站提供資源搜索服務(wù)。從架構(gòu)設(shè)計模式到底層細節(jié)各個層次優(yōu)化如下:
　　(1)系統(tǒng)架構(gòu)層面，采用TCP

6、傳輸協(xié)議和Epoll多路轉(zhuǎn)接。傳統(tǒng)的搜索引擎基于POSIX平臺的服務(wù)器采用UDP傳輸協(xié)議和poll的I/O多路轉(zhuǎn)接，連接不穩(wěn)定，傳輸數(shù)據(jù)不可靠，系統(tǒng)層面因為poll多次執(zhí)行系統(tǒng)態(tài)到內(nèi)核態(tài)的拷貝，資源消耗巨大。而本論文的連接可靠穩(wěn)定，監(jiān)聽輪詢大大降低了服務(wù)器負載。從架構(gòu)執(zhí)行層面要優(yōu)于傳統(tǒng)的搜索引擎。
　　(2)改進了距離編輯算法，并且應(yīng)用到中文中，使得用戶搜索詞糾錯機制可以實現(xiàn)中文文本糾錯，進行糾錯及聯(lián)想推薦，提供候選詞集，降低用戶

7、學(xué)習(xí)成本和提高用戶的工作效率，而傳統(tǒng)的搜索引擎沒有提供糾錯候選項和糾錯功能。
　　(3)改進了傳統(tǒng)的索引技術(shù)，提出了內(nèi)存磁盤協(xié)同并行索引改進算法，可以迅速精準定位到網(wǎng)頁庫中的用戶查詢文檔，同時在文本挖掘的過程中計算網(wǎng)頁文檔關(guān)聯(lián)度上提高了效率，也節(jié)省了內(nèi)存消耗。
　　(4)處理用戶歷史查詢記錄緩存時采用Redis這種基于內(nèi)存可持久化，日志型的數(shù)據(jù)庫取代傳統(tǒng)的Memcached分布式高速緩存系統(tǒng)，提升緩存的處理效率。