基于Web的病毒信息抽取方法研究.pdf

1、隨著Internet的迅猛發(fā)展，Web已經(jīng)成為全球傳播與共享科研、教育、商業(yè)和社會信息等最重要和最具潛力的巨大信息源。與傳統(tǒng)的信息資源相比，Web上信息資源有著分布性、異構(gòu)性、開放性、動態(tài)性和龐大性等特點，這些特點導(dǎo)致Web上數(shù)據(jù)的信息接口和組織形式各不相同、使得Web上的信息資源不能被有效的利用。因此出現(xiàn)了很多基于Web信息源的技術(shù)和應(yīng)用，其中信息抽取技術(shù)是當(dāng)前研究的一個熱點。 信息抽取(Information Extract

2、ion，IE)的目標(biāo)是把文本里包含的信息進行結(jié)構(gòu)化處理，變成表格一樣的組織形式。輸入信息抽取系統(tǒng)的是原始文本，輸出的是固定格式的信息點。把信息點從各種各樣的文檔中抽取出來，然后以統(tǒng)一的形式集成在一起，這是信息抽取的主要任務(wù)。信息以統(tǒng)一的形式集成在一起的好處是方便檢查和比較，能夠?qū)?shù)據(jù)作自動化處理，從而實現(xiàn)用數(shù)據(jù)挖掘方法發(fā)現(xiàn)和解釋數(shù)據(jù)模型。信息抽取技術(shù)并不試圖全面理解整篇文檔，只是對文檔中包含相關(guān)信息的部分進行分析。從大量的文檔中抽取需要

3、的特定事實是非常有用的。互聯(lián)網(wǎng)上就存在著這么一個文檔庫，同一主題的信息通常分散存放在不同網(wǎng)站上，表現(xiàn)的形式也各不相同。若能將這些信息收集在一起，用結(jié)構(gòu)化形式儲存，其意義是非常重大的。 本文實現(xiàn)了一種基于Web的快速從HTML頁面中抽取病毒信息的方法，該方法將抽取信息按對象關(guān)系模型進行重組存放在數(shù)據(jù)庫中，以支持查詢及各種應(yīng)用。將信息抽取過程劃分為兩個階段：學(xué)習(xí)階段和抽取階段，學(xué)習(xí)階段主要是利用少量的。HTML樣本頁面，用戶根據(jù)實際

4、的需求和選定的 HTML 樣本信息的具體情況定義模式信息，同時對樣本頁面進行適當(dāng)?shù)臉?biāo)記得到樣本記錄，系統(tǒng)根據(jù)樣本頁面和樣本記錄形成抽取的知識庫，該知識庫包含抽取信息的抽取規(guī)則和關(guān)聯(lián)規(guī)則；抽取階段是根據(jù)學(xué)習(xí)階段定義的模式信息，建立數(shù)據(jù)庫，同時根據(jù)知識庫對與樣本頁面相近的HTML頁面進行信息抽取，將抽取出來的信息以數(shù)據(jù)庫的方式存儲和管理。這樣抽取出來的信息符合用戶的要求并且具有結(jié)構(gòu)，因此抽取階段既是信息抽取的過程，同時又是信息重構(gòu)的過程。同