Web查詢接口定位與模式抽取技術(shù)研究.pdf

1、查詢接口定位與模式抽取作為查詢接口集成的重要組成部分，是實(shí)現(xiàn)自動化查詢Web數(shù)據(jù)庫的有效途徑;對于大規(guī)模、實(shí)時(shí)性、多元化Deep Web信息檢索，有著重要的理論和現(xiàn)實(shí)意義。
　　本文在深入分析查詢接口基本類型和特征的基礎(chǔ)上，針對現(xiàn)有查詢接口定位方法依賴表單標(biāo)簽發(fā)現(xiàn)而無法定位非Form型接口的問題，提出了兩種接口定位算法。針對現(xiàn)有模式抽取方法利用文本語義相似性抽取模式準(zhǔn)確率較低的問題，提出了一種利用查詢接口結(jié)構(gòu)特征和頁面位置特征抽取

2、接口模式的方法。設(shè)計(jì)并實(shí)現(xiàn)了Web查詢接口自動識別與模式抽取系統(tǒng)，主要創(chuàng)新點(diǎn)和工作如下:
　　(1)針對現(xiàn)有查詢接口定位方法無法定位非Form型接口和誤判較多的不足，通過研究查詢接口的DOM樹結(jié)構(gòu)特征，提出了頻繁公共樹路徑接口定位算法。根據(jù)相同查詢接口控件包含一個公共起始節(jié)點(diǎn)的特征，利用控件之間的公共樹路徑和區(qū)域相關(guān)度定位接口，并結(jié)合C4.5分類器進(jìn)行識別。實(shí)驗(yàn)結(jié)果表明，該算法識別票務(wù)查詢接口的平均查準(zhǔn)率達(dá)到了93.39％,比其它

3、三種現(xiàn)有定位算法分別提高了48.21％、58.45％和31.58％，但當(dāng)頁面中含有多個查詢接口時(shí)，該算法容易產(chǎn)生局部接口塊。
　　(2)針對頻繁公共樹路徑接口定位算法產(chǎn)生冗余接口塊造成誤判的問題，通過研究接口節(jié)點(diǎn)蘊(yùn)含的空間特征，提出了空間層次聚類接口定位算法。根據(jù)相同查詢接口節(jié)點(diǎn)在DOM樹位置較近、樹路徑相似度高的特點(diǎn)，利用改進(jìn)的歐氏距離對定位結(jié)果調(diào)優(yōu)，并結(jié)合C4.5分類器進(jìn)行識別。實(shí)驗(yàn)結(jié)果表明，該方法識別票務(wù)查詢接口的平均查全率

4、、平均查準(zhǔn)率達(dá)到了96.07％、95.71％，比頻繁公共樹路徑接口定位算法提高了1.77％、2.32％，且能區(qū)別多個查詢接口。
　　(3)針對現(xiàn)有查詢接口模式表達(dá)模型無法反映元素約束關(guān)系的缺陷，通過分析票務(wù)領(lǐng)域查詢接口模式的特點(diǎn)，提出了一種改進(jìn)的票務(wù)查詢接口模式表達(dá)模型。針對現(xiàn)有模式抽取方法利用文本相似性抽取屬性準(zhǔn)確率較低的問題，根據(jù)相同屬性包含的元素在Web頁面上和DOM樹中位置較近，且遵循潛在組合規(guī)律的特點(diǎn)，通過構(gòu)建頁面空間，