基于Scrapy爬取電商平臺數(shù)據(jù)及自動問答系統(tǒng)的構(gòu)建.pdf

1、隨著大數(shù)據(jù)時(shí)代的來臨，互聯(lián)網(wǎng)信息急劇增長，依賴關(guān)鍵字進(jìn)行搜索的傳統(tǒng)搜索引擎技術(shù)已日益不能滿足用戶快速準(zhǔn)確檢索信息的需求。自動問答系統(tǒng)作為信息檢索領(lǐng)域的一種高級形式，已然成為近年來研究的熱點(diǎn)和重點(diǎn)。研究構(gòu)建中文自動問答系統(tǒng)，滿足用戶直接以自然語言提出問題并能快速準(zhǔn)確地獲取答案，有著十分重要的意義。
　　本文利用網(wǎng)絡(luò)爬蟲技術(shù)，從電商平臺爬取商品數(shù)據(jù)信息，繼而構(gòu)建電商平臺的中文自動問答系統(tǒng)以方便用戶準(zhǔn)確獲取相關(guān)商品信息，主要工作如下:<

2、br>　　首先，選用Python語言編寫的開源爬蟲框架Scrapy，研究該框架的搭建和使用，并選取網(wǎng)易考拉海購平臺作為本文研究對象，分析考拉上商品的數(shù)據(jù)結(jié)構(gòu)，最后基于Scrapy框架編寫網(wǎng)絡(luò)爬蟲程序并成功爬取考拉所有商品數(shù)據(jù)。
　　其次，構(gòu)建Web項(xiàng)目，并將項(xiàng)目發(fā)布到開源的中間件Tomcat上，這樣用戶只需在瀏覽器中輸入相應(yīng)的鏈接即可看到考拉商品數(shù)據(jù)的動態(tài)關(guān)系圖譜并直觀的看到商品的各類信息，實(shí)現(xiàn)了商品的可視化展示。
　　再次

3、，構(gòu)建考拉商品知識的詞典和詞性庫，實(shí)現(xiàn)了結(jié)合正向最大匹配算法和逆向最大匹配算法的分詞算法，自定義了有特色關(guān)鍵詞提取規(guī)則，并實(shí)現(xiàn)了相似度計(jì)算的編輯距離算法，最終設(shè)計(jì)實(shí)現(xiàn)了一款基于考拉商品知識庫的中文自動問答系統(tǒng)工具KOALAASK。
　　最后，對KOALAASK系統(tǒng)工具進(jìn)行了一系列功能性的測驗(yàn)，實(shí)驗(yàn)結(jié)果表明該系統(tǒng)工具具備高性能，反應(yīng)迅速的特點(diǎn)。實(shí)驗(yàn)中通過統(tǒng)計(jì)分析的方法，即對799個(gè)不同領(lǐng)域的商品信息進(jìn)行提問并獲取答案，計(jì)算相應(yīng)準(zhǔn)確率