基于FPGA的文本分類高效實現(xiàn)方法研究.pdf

1、隨著Internet的迅猛發(fā)展，在互聯(lián)網(wǎng)中存在有大量無用甚至是非法的信息，這些信息會影響人們的正常生活，并對社會造成不良的影響，因此需要對這些信息進行過濾。一個好的過濾系統(tǒng)應(yīng)當(dāng)擁有較快的處理速率同時盡量減少垃圾內(nèi)容的數(shù)量，這也是信息過濾的關(guān)鍵因素。由于絕大多數(shù)信息一般以文本的方式存在，因此信息過濾主要是對文本進行過濾。
　　 目前信息過濾一般通過如下四種方式進行:URL(IP)過濾、關(guān)鍵詞過濾、人工分級標(biāo)志過濾和基于內(nèi)容理解的過

2、濾。前三種方法過濾精度不高，而基于內(nèi)容理解的過濾（主要有基于文本分類的方法）有運行速度慢的缺點，這也是目前研究的熱點。本文旨在改進文本分類方法的效率，為該方法的實際應(yīng)用提供一個思路。本文所做的主要工作如下:
　　 (1)針對傳統(tǒng)方法的不足，本文研究并提出了一種軟、硬件結(jié)合的文本分類高效實現(xiàn)方法。該方法利用FPGA上的硬件資源構(gòu)造了一個基于CAM的特征查找表，以硬件高速查找來代替軟件查找方法，并利用該硬件查找表的特點設(shè)計了一種將待

3、分類文本特征抽取和去重兩個步驟合并處理的高效算法。該方法能有效解決純軟件文本分類系統(tǒng)運行速度慢的問題。實驗結(jié)果表明用硬件邏輯實現(xiàn)查找操作能有19.9倍的提高，對整個實驗系統(tǒng)有48％的提高。
　　 (2)系統(tǒng)的研究了網(wǎng)絡(luò)信息過濾模型，分析了使用純軟件方式實現(xiàn)樸素貝葉斯分類器的主要步驟與影響處理速度的關(guān)鍵因素，據(jù)此設(shè)計并實現(xiàn)了基于FPGA的文本分類高效實現(xiàn)系統(tǒng)。整個系統(tǒng)由PC機和FPGA板構(gòu)成，在PC機端完成對文本的分詞、特征抽取、