基于搜索引擎的郵箱地址自動提取系統(tǒng)開發(fā).pdf

1、信息抽取技術(shù)已成為當(dāng)前的研究熱點之一，而對搜索引擎返回信息中存在的所謂的Rich Data Poor Information問題也是亟待解決的，若將兩者相結(jié)合無疑是件很有趣又有實際價值的事情。
　　本文就把為大家所熟知熟用的搜索引擎與信息提取技術(shù)相結(jié)合，開發(fā)出了一種基于搜索引擎的郵箱地址提取系統(tǒng)。有效的解決了常見郵箱搜索器中普遍存在的精確度不高、用戶自主選擇性低、前后兩次結(jié)果會被重復(fù)提取等問題。
　　本文的主要工作內(nèi)容及創(chuàng)新

2、點如下:
　　首先，通過URL地址拼接技術(shù)，調(diào)用各大搜索引擎的返回數(shù)據(jù)獲取源數(shù)據(jù)。用戶提交關(guān)鍵字和需要處理的搜索引擎起始頁面后，根據(jù)搜索引擎返回數(shù)據(jù)首頁的url地址結(jié)構(gòu)，拼接出首頁的URL鏈接地址。對比于之前的研究，本文實現(xiàn)了自動翻頁提取，即實現(xiàn)對“下一頁”鏈接地址的獲取。此外，為了增加Email系統(tǒng)中用戶的自主選擇性，用戶可以根據(jù)需要，對要處理的網(wǎng)頁頁數(shù)范圍進行限制。
　　其次，HTMLParser包對html網(wǎng)頁進行解析

3、，利用正則表達式并對Email地址進行提取。為了獲取更多更全面的信息，本文利用HTMLParser對網(wǎng)頁內(nèi)部的URL鏈接地址進行了深層提取。用戶可以根據(jù)自己的需要，選擇需要處理的網(wǎng)頁層數(shù)級別。
　　再次，為了進一步提高用戶的自主選擇性，用戶可以根據(jù)自身需要，選擇對最后搜索結(jié)果中郵件服務(wù)器域名（如163.com、126.com、edu.cn等等）進行過濾。此外為了避免本次提取到的信息下次不會被重復(fù)提取，選擇將結(jié)果保存在Access數(shù)