基于本體的Web非規(guī)范知識處理中采集技術(shù)研究.pdf

1、隨著Internet的快速發(fā)展，現(xiàn)在世界上絕大多數(shù)人都在用網(wǎng)絡(luò)進行交流，網(wǎng)絡(luò)在把信息傳到用戶方面已經(jīng)取得了難以置信的成功，Web己經(jīng)成為一種主要的知識來源，它經(jīng)過十年左右的發(fā)展已經(jīng)成為一個巨大的全球化知識倉庫。 Web數(shù)據(jù)的組織格式主要以HTML這種半結(jié)構(gòu)化的形式為主，是典型的非規(guī)范知識。這種語言不能處理網(wǎng)絡(luò)上的很多需求，因為它只是一種用于瀏覽信息的語言，不能表達數(shù)據(jù)本身，網(wǎng)絡(luò)還沒有形成一個良好的結(jié)構(gòu)化文檔的存貯，而只是一個可變

2、的HTML頁的聚集，因此迫切希望來自網(wǎng)絡(luò)資源的信息以一種結(jié)構(gòu)化的方式來存貯，XML和它的各種擴展功能(如數(shù)據(jù)模型、查詢語言等)是實現(xiàn)結(jié)構(gòu)化方式的一種。使用擴展的標志語言XML，它是SGML的一個子集，是一種元語言，可以彌補很多HTML的不足。隨著語義網(wǎng)的發(fā)展，未來的網(wǎng)頁會使用具有很好結(jié)構(gòu)化的XML語言，但是現(xiàn)在這一階段是過渡階段，必須思考一種方法來實現(xiàn)HTML到XML的轉(zhuǎn)換，以更好地利用網(wǎng)絡(luò)資源。 不像結(jié)構(gòu)化數(shù)據(jù)，半結(jié)構(gòu)化的數(shù)據(jù)

3、對于數(shù)據(jù)查詢來說是十分不容易的。面對Web這個信息的海洋，用戶要精確地找到所需信息變得非常困難，往往面對著從搜索引擎中查找的大量的信息而不知所措。為此，人們希望可以得到一種能達到專家水平的高質(zhì)量的信息抽取方案，這樣可以提供準確和簡潔的信息來源，而不至于在信息的海洋中苦苦查找。信息抽取技術(shù)(InformationExtraction，縮寫為IE)是一種面向具體任務的實用的文檔理解技術(shù)。與復雜的自然語言理解技術(shù)不同，IE技術(shù)通常采用淺層的文

4、本分析技術(shù)，提取出設(shè)計者關(guān)注的特定主題的信息。該技術(shù)適用于具有特定主題及相對確定的信息結(jié)構(gòu)的文檔，如：廣告、新聞、數(shù)據(jù)庫自然語言查詢和特定領(lǐng)域的文告等。針對這種情況，本文提出了基于領(lǐng)域本體的資源管理平臺，重點實現(xiàn)了平臺中的資源采集模塊，在信息抽取中引入了Ontology技術(shù)和DOM模板技術(shù)，提出了一種基于Ontology能處理語義的Web非規(guī)范知識(HTML文檔)采集系統(tǒng)。 在實現(xiàn)Web網(wǎng)頁的信息抽取中，本文引入bot網(wǎng)頁抓取技

5、術(shù)、Iucene索引技術(shù)、Ontology技術(shù)、DOM模板技術(shù)、HTML轉(zhuǎn)換XML技術(shù)和XML存儲技術(shù)，實現(xiàn)了一種基于本體的、能把HTML非規(guī)范信息按領(lǐng)域本體生成的映射規(guī)則轉(zhuǎn)換成XML規(guī)范信息的Web信息采集系統(tǒng)。為了減少工作量，本文盡量采用了現(xiàn)有的比較成熟的技術(shù)和工具包，所以本文的工作重點是采用Java技術(shù)、Ontology技術(shù)和DOM模板技術(shù)，使用XSLT模板來實現(xiàn)HTML文檔向XML文檔的轉(zhuǎn)換。即設(shè)計一個HTML-XML包裝器，從