基于頁面結(jié)構(gòu)分析的語義數(shù)據(jù)抽取方法研究.pdf

1、隨著互聯(lián)網(wǎng)上的信息呈現(xiàn)爆炸式的增長(zhǎng)，在海量的數(shù)據(jù)下用戶想獲得基于特定領(lǐng)域的知識(shí)變得越來越困難，知識(shí)庫技術(shù)的發(fā)展為基于領(lǐng)域知識(shí)的查詢提供了可能，為了能夠構(gòu)建更好的知識(shí)庫，就需要將Web上的信息充分利用起來，因此Web語義數(shù)據(jù)抽取技術(shù)成為現(xiàn)在研究的一個(gè)熱點(diǎn)問題。近些年各種各樣的Web語義數(shù)據(jù)抽取技術(shù)涌現(xiàn)出來，這些方法能夠一定程度上解決 Web語義數(shù)據(jù)抽取過程中出現(xiàn)的一些問題，但仍然有不足之處，其中基于領(lǐng)域本體的抽取方法利用本體對(duì)領(lǐng)域知識(shí)描述

2、的準(zhǔn)確性和全面性取得了良好的效果，但是領(lǐng)域本體的構(gòu)建需要領(lǐng)域?qū)＜彝耆止ぞ帉戧P(guān)于這個(gè)領(lǐng)域的本體知識(shí)庫，基于DOM樹的抽取方法能夠通過使用DOM樹的操作來完成對(duì)語義數(shù)據(jù)的抽取，但是生成的規(guī)則不具有普適性。針對(duì)以上問題和對(duì)大量頁面進(jìn)行分析之后，本文提出了一種基于頁面結(jié)構(gòu)分析的語義數(shù)據(jù)抽取方法，利用Web頁面的頁面結(jié)構(gòu)和標(biāo)準(zhǔn)領(lǐng)域本體共同抽取語義數(shù)據(jù)，能夠充分利用領(lǐng)域本體對(duì)知識(shí)庫描述的準(zhǔn)確性和全面性，并且挖掘DOM樹結(jié)構(gòu)中存在的特征規(guī)律，提高語

3、義數(shù)據(jù)抽取的準(zhǔn)確性和查全率。
　　本研究主要內(nèi)容包括：⑴對(duì)語義網(wǎng)和知識(shí)庫技術(shù)進(jìn)行了深入的分析，研究和總結(jié)了當(dāng)前存在的典型的Web語義信息抽取技術(shù)，提出了基于頁面結(jié)構(gòu)分析的語義數(shù)據(jù)抽取方法，提出了將語義數(shù)據(jù)抽取分為兩階段，第一階段是利用標(biāo)準(zhǔn)領(lǐng)域本體和頁面 HTML結(jié)構(gòu)構(gòu)建面向特定網(wǎng)絡(luò)站點(diǎn)的核心本體，第二階段是基于頁面結(jié)構(gòu)分析對(duì)核心本體進(jìn)行擴(kuò)展，得到面向特定網(wǎng)絡(luò)的領(lǐng)域知識(shí)庫。⑵結(jié)合標(biāo)準(zhǔn)領(lǐng)域本體和頁面結(jié)構(gòu)特征，設(shè)計(jì)了構(gòu)建面向特定網(wǎng)絡(luò)核心

4、本體的方法，提出了利用領(lǐng)域本體和 Web頁面結(jié)構(gòu)信息構(gòu)建核心本體的方法，為了解決標(biāo)準(zhǔn)領(lǐng)域本體映射網(wǎng)頁內(nèi)容不夠靈活的問題，提出了結(jié)合維基百科對(duì)領(lǐng)域本體使用TF-IDF算法進(jìn)行特征詞擴(kuò)展的方法，在計(jì)算兩個(gè)詞語相似度的問題上，本文使用Word2vec方法基于維基百科語料庫將詞語訓(xùn)練成詞向量的格式來計(jì)算語義相似度，為了能夠?qū)⒈倔w中概念和頁面節(jié)點(diǎn)內(nèi)容準(zhǔn)確映射，設(shè)計(jì)了計(jì)算本體中概念和DOM樹中節(jié)點(diǎn)文本的語義相似度算法，對(duì)于Web頁面不規(guī)范的問題，采