硬件查找算法在內(nèi)容過濾中的研究與實(shí)現(xiàn).pdf_第1頁
已閱讀1頁,還剩65頁未讀 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

1、內(nèi)容過濾是對(duì)網(wǎng)絡(luò)內(nèi)容進(jìn)行監(jiān)控,防止某些特定內(nèi)容的信息在網(wǎng)絡(luò)上進(jìn)行傳輸?shù)募夹g(shù),一種能夠有效識(shí)別垃圾文本信息的過濾方法具有重要的經(jīng)濟(jì)價(jià)值和社會(huì)價(jià)值。隨著網(wǎng)絡(luò)帶寬的提高,軟件內(nèi)容過濾在大流量網(wǎng)絡(luò)中不能及時(shí)地對(duì)數(shù)據(jù)包進(jìn)行檢測(cè),因此基于硬件設(shè)計(jì)的內(nèi)容過濾系統(tǒng)因其高效、可靠、安全性強(qiáng)等優(yōu)點(diǎn)成為研究重點(diǎn)。然而制約硬件內(nèi)容過濾速度的重要環(huán)節(jié)就是查找。本文從當(dāng)前常用的基于硬件的查找算法入手,針對(duì)內(nèi)容過濾的特點(diǎn),研究有效的大規(guī)模特征詞查找算法,設(shè)計(jì)并實(shí)現(xiàn)基

2、于FPGA的內(nèi)容過濾系統(tǒng),實(shí)現(xiàn)對(duì)用戶數(shù)據(jù)包的實(shí)時(shí)分類檢測(cè)。
   全文主要進(jìn)行了如下工作:
   1)討論當(dāng)前較常見的查找算法:RAM查找、CAM查找、并行比較器、Aho-Corasick算法以及Bloom Filter算法。了解不同查找算法的主要思想以及改進(jìn)方法等,同時(shí)介紹以上常見算法的具體應(yīng)用實(shí)例和實(shí)現(xiàn)方法。了解這些算法的核心思想,為硬件內(nèi)容過濾中的查找模塊提供算法和框架支持。
   2)了解內(nèi)容過濾的基本概

3、念,以及基本實(shí)現(xiàn)框架,采用基于統(tǒng)計(jì)的貝葉斯算法進(jìn)行具體分析。在最小風(fēng)險(xiǎn)分類算法基礎(chǔ)上,提出雙重閾值的基于最小風(fēng)險(xiǎn)貝葉斯文本分類算法,目的是提高系統(tǒng)的可控性,減小單一風(fēng)險(xiǎn)系數(shù)對(duì)召回率(Recall Rate)的影響。
   3)進(jìn)一步優(yōu)化雙閾值最小風(fēng)險(xiǎn)貝葉斯算法,使其適合硬件語言設(shè)計(jì),便于移植到FPGA中實(shí)現(xiàn)。討論硬件文本分類系統(tǒng)中三次查找操作的需求,在同一系統(tǒng)中采用不同的查找實(shí)現(xiàn)方式,并分析大規(guī)模特征詞的查找操作存在的難點(diǎn),為后

4、續(xù)的算法設(shè)計(jì)打下基礎(chǔ)。
   4)解決大規(guī)模特征詞查找的問題,首先分析漢字在數(shù)據(jù)包傳輸中的編碼格式,并根據(jù)需求提出了一種并行的基于RAM的Counter Bloom Filter的查找結(jié)構(gòu),并解決了原有CBF算法中僅有匹配信號(hào)輸出的問題,改進(jìn)了CBF的寄存器組,滿足了貝葉斯分類計(jì)算模塊的功能需求。
   5)對(duì)提出的改進(jìn)算法進(jìn)行性能分析,并使用FPGA實(shí)現(xiàn)內(nèi)容過濾系統(tǒng)。搭建整體系統(tǒng)框架,設(shè)計(jì)了內(nèi)容過濾系統(tǒng)的基本功能模塊,

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論