基于優(yōu)化NFA正則匹配的Web信息抽取技術(shù)及應(yīng)用研究.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的快速發(fā)展，互聯(lián)網(wǎng)已經(jīng)成為我們?nèi)粘Ｉ钪斜夭豢缮俚囊徊糠帧Ｈ绾螐暮Ａ康摹虢Y(jié)構(gòu)化萬(wàn)維網(wǎng)(Web)信息中挖掘出人們所感興趣的信息變得越來(lái)越重要。以往基于網(wǎng)頁(yè)模板實(shí)現(xiàn)的Web信息抽取軟件，絕大多數(shù)是利用傳統(tǒng)的基于NFA的正則表達(dá)式匹配算法來(lái)提取網(wǎng)頁(yè)內(nèi)容。但這些軟件存在著模板維護(hù)難、抽取效率低等問題，通常只能抽取一類網(wǎng)站的數(shù)據(jù)，使得它們?cè)诂F(xiàn)實(shí)中很難被廣泛應(yīng)用。本文研究的重點(diǎn)是如何優(yōu)化NFA，改進(jìn)傳統(tǒng)的構(gòu)建NFA的算法。另外也系統(tǒng)分

2、析了Web信息抽取技術(shù)中網(wǎng)頁(yè)預(yù)處理和三層開發(fā)框架整合等問題，并最終實(shí)現(xiàn)Web房屋數(shù)據(jù)抽取系統(tǒng)，該系統(tǒng)主要是為一些房地產(chǎn)評(píng)稅系統(tǒng)提供樣本數(shù)據(jù)。本文的主要工作如下：
　　1．針對(duì)NFA(非確定型有限狀態(tài)自動(dòng)機(jī))的研究，提出了用擴(kuò)展方式構(gòu)建NFA的算法，并設(shè)計(jì)了減少構(gòu)建NFA時(shí)間和節(jié)省存儲(chǔ)空間的一些優(yōu)化方法。
　　2．在基于NFA的正則表達(dá)式引擎下，提出了構(gòu)造較優(yōu)化的正則表達(dá)式的方法，比較優(yōu)化前后的網(wǎng)頁(yè)內(nèi)容抽取效率，為后續(xù)制定各類

3、網(wǎng)站的抽取規(guī)則提供優(yōu)化策略。
　　3．對(duì)于網(wǎng)頁(yè)預(yù)處理給出了自動(dòng)識(shí)別網(wǎng)頁(yè)編碼的方法，提出了基于模板的網(wǎng)頁(yè)去噪算法，該算法能去除網(wǎng)頁(yè)的可見和不可見噪音。
　　4．在ExtJs、Spring和Hibernate框架的基礎(chǔ)上，提出結(jié)合MVC+DAO的開發(fā)模式，解決了以往Web信息抽取軟件模板維護(hù)難的弊端。通過(guò)引入IoC技術(shù)和AOP思想，分離了業(yè)務(wù)邏輯代碼和基礎(chǔ)代碼，并減少了代碼的冗余。
　　5．基于以上的方法，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)