汽車票務Deep Web數(shù)據(jù)采集關(guān)鍵技術(shù)研究.pdf

1、互聯(lián)網(wǎng)技術(shù)已廣泛應用于民航、鐵路以及道路旅客運輸聯(lián)網(wǎng)售票領域，尤其是互聯(lián)網(wǎng)汽車票聯(lián)網(wǎng)售票迎來飛速發(fā)展階段。汽車票聯(lián)網(wǎng)售票系統(tǒng)建設的前提是在互聯(lián)網(wǎng)上獲取該類主題數(shù)據(jù)。傳統(tǒng)搜索引擎網(wǎng)絡爬蟲只能獲取表層網(wǎng)頁資源，無法訪問存儲在Web數(shù)據(jù)庫中的Deep Web網(wǎng)絡資源。
　　針對上述問題，本文在深入分析汽車票務網(wǎng)Deep Web結(jié)構(gòu)與特征的基礎上設計了汽車票務Deep Web數(shù)據(jù)采集系統(tǒng)，研究并實現(xiàn)了數(shù)據(jù)抽采集統(tǒng)中的關(guān)鍵技術(shù)。提出了汽車票

2、務網(wǎng)查詢頁面識別算法尋找汽車票查詢頁面;在此基礎上對識別出的網(wǎng)頁進行分類處理，獲取純凈的含有汽車票務網(wǎng)查詢接口的頁面;詳細介紹了數(shù)據(jù)采集原型系統(tǒng)的框架、系統(tǒng)工作流程以及核心功能模塊。此外，本文對關(guān)鍵技術(shù)的研究做了大量實驗論證。論文主要研究工作如下:
　　(1)提出了汽車票務網(wǎng)查詢頁面識別算法。隨著Web編程技術(shù)的發(fā)展，同類主題網(wǎng)頁可以采用不同的Html標簽展示出視覺特征相同的網(wǎng)頁信息，導致在度量網(wǎng)頁結(jié)構(gòu)相似性時需要匹配Html標簽

3、名稱信息的現(xiàn)有網(wǎng)頁結(jié)構(gòu)相似性算法無法準確度量該類主題網(wǎng)頁。提出一種網(wǎng)頁標簽樹鄰接矩陣主題網(wǎng)頁識別算法，通過構(gòu)造網(wǎng)頁標簽樹鄰接矩陣，利用鄰接矩陣的結(jié)構(gòu)特征計算網(wǎng)頁之間的結(jié)構(gòu)相似度實現(xiàn)識別同類主題。實驗結(jié)果表明，該算法最佳性能達到查全率100％、查準率96％，平均性能達到查全率97％、查準率89％。
　　(2)采用決策樹分類模型對汽車票務網(wǎng)查詢頁面識別算法獲得的數(shù)據(jù)進行分類，并改進了算法中最佳決策屬性的選擇。由于識別算法獲取的數(shù)據(jù)集合

4、中可能含有其它主題接口，錯誤的查詢接口不僅會影響數(shù)據(jù)采集系統(tǒng)的性能，還會造成大量存儲資源和網(wǎng)絡帶寬資源的浪費。因此，需要對查詢頁面識別算法得到的數(shù)據(jù)集合進行分類處理。實際應用中訓練數(shù)據(jù)的分布不能完全代表測試數(shù)據(jù)的分布，導致無法得到有效的分類模型。本文結(jié)合信息增益與本征向量法確定最佳決策屬性的權(quán)重。實驗結(jié)果表明，在保證相同精確度的前提下，隨著測試數(shù)據(jù)數(shù)量的增加改進后的算法效率得到了明顯的提升。
　　(3)汽車票務Deep Web數(shù)據(jù)