基于搜索引擎的郵箱地址自動(dòng)提取系統(tǒng)開發(fā).pdf

1、信息抽取技術(shù)已成為當(dāng)前的研究熱點(diǎn)之一，而對(duì)搜索引擎返回信息中存在的所謂的Rich Data Poor Information問題也是亟待解決的，若將兩者相結(jié)合無疑是件很有趣又有實(shí)際價(jià)值的事情。
　　本文就把為大家所熟知熟用的搜索引擎與信息提取技術(shù)相結(jié)合，開發(fā)出了一種基于搜索引擎的郵箱地址提取系統(tǒng)。有效的解決了常見郵箱搜索器中普遍存在的精確度不高、用戶自主選擇性低、前后兩次結(jié)果會(huì)被重復(fù)提取等問題。
　　本文的主要工作內(nèi)容及創(chuàng)新

2、點(diǎn)如下:
　　首先，通過URL地址拼接技術(shù)，調(diào)用各大搜索引擎的返回?cái)?shù)據(jù)獲取源數(shù)據(jù)。用戶提交關(guān)鍵字和需要處理的搜索引擎起始頁面后，根據(jù)搜索引擎返回?cái)?shù)據(jù)首頁的url地址結(jié)構(gòu)，拼接出首頁的URL鏈接地址。對(duì)比于之前的研究，本文實(shí)現(xiàn)了自動(dòng)翻頁提取，即實(shí)現(xiàn)對(duì)“下一頁”鏈接地址的獲取。此外，為了增加Email系統(tǒng)中用戶的自主選擇性，用戶可以根據(jù)需要，對(duì)要處理的網(wǎng)頁頁數(shù)范圍進(jìn)行限制。
　　其次，HTMLParser包對(duì)html網(wǎng)頁進(jìn)行解析

3、，利用正則表達(dá)式并對(duì)Email地址進(jìn)行提取。為了獲取更多更全面的信息，本文利用HTMLParser對(duì)網(wǎng)頁內(nèi)部的URL鏈接地址進(jìn)行了深層提取。用戶可以根據(jù)自己的需要，選擇需要處理的網(wǎng)頁層數(shù)級(jí)別。
　　再次，為了進(jìn)一步提高用戶的自主選擇性，用戶可以根據(jù)自身需要，選擇對(duì)最后搜索結(jié)果中郵件服務(wù)器域名（如163.com、126.com、edu.cn等等）進(jìn)行過濾。此外為了避免本次提取到的信息下次不會(huì)被重復(fù)提取，選擇將結(jié)果保存在Access數(shù)