基于聚焦爬蟲的網(wǎng)上藥品信息監(jiān)測(cè)系統(tǒng).pdf

1、近年來,隨著互聯(lián)網(wǎng)的飛速發(fā)展,網(wǎng)絡(luò)已成為人們獲取信息、傳遞信息的重要途徑,隨之而來的是網(wǎng)絡(luò)信息呈指數(shù)級(jí)的爆炸性增長(zhǎng)。互聯(lián)網(wǎng)的發(fā)展雖然極大地方便了人們的生活,但由于其資源廣,范圍大,發(fā)布信息成本低,監(jiān)管難等特點(diǎn),使得許多在有形市場(chǎng)上受到有關(guān)執(zhí)法部門強(qiáng)有力的打擊的制假售假者逐漸將售假的平臺(tái)轉(zhuǎn)移到了網(wǎng)絡(luò)上來,大量假冒侵權(quán)商品在網(wǎng)絡(luò)上肆無忌憚地出現(xiàn),一個(gè)新的“售假天堂”正在形成。
　　 為了打擊日益猖獗的網(wǎng)絡(luò)兜售假冒藥品的犯罪行為,減輕

2、工作人員的工作強(qiáng)度,需要對(duì)網(wǎng)上藥品交易信息進(jìn)行監(jiān)測(cè),藥品信息監(jiān)測(cè)的關(guān)鍵就是要對(duì)浩瀚的網(wǎng)絡(luò)資源進(jìn)行主題搜索,而實(shí)現(xiàn)主題搜索的就是聚焦爬蟲。聚焦爬蟲針對(duì)某個(gè)領(lǐng)域或面向特定主題,以獲得較為理想的準(zhǔn)確率和召回率。但大多數(shù)搜索算法都是用于大主題搜索,而專門用于特定小主題(比如藥品交易監(jiān)測(cè))的搜索效果卻不理想。
　　 為此,本文主要做的工作包括:
　　 1.針對(duì)論壇網(wǎng)站和普通網(wǎng)站的網(wǎng)絡(luò)結(jié)構(gòu)特點(diǎn)的不同,分別提出了不同的頁(yè)面搜索算法。<

3、br>　　 2.針對(duì)小主題搜索效果不佳的問題,在分析現(xiàn)有聚焦爬蟲搜索方法的基礎(chǔ)上,提出了一種對(duì)互聯(lián)網(wǎng)特定主題進(jìn)行信息搜索的組合策略。這種組合搜索策略包括頁(yè)面搜索、相關(guān)度分析兩部分。頁(yè)面搜索算法采用了改進(jìn)型的Fish—Search算法；相關(guān)度分析采用了分步算法,其中第一步采用向量空間模型。搜索算法,粗選出大主題；第二步分別采用改進(jìn)型的樸素貝葉斯分類算法與k最近鄰算法,從粗選結(jié)果中再精選出相關(guān)的小主題。
　　 3.在此研究基礎(chǔ)上,