“天眼查”分布式爬蟲系統(tǒng)中驗(yàn)證碼識(shí)別模塊的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、“天眼查”是一款提供了全面的企業(yè)信息查詢、專業(yè)的企業(yè)關(guān)系挖掘的工具平臺(tái)，可查詢企業(yè)工商信息、法律訴訟、商標(biāo)專利、對(duì)外投資、招投標(biāo)、失信、經(jīng)營(yíng)異常、企業(yè)年報(bào)、招聘及新聞動(dòng)態(tài)等，覆蓋全國(guó)超8000萬(wàn)家企業(yè)信息，與工商局網(wǎng)站同步更新。“天眼查”平臺(tái)通過(guò)抓取互聯(lián)網(wǎng)公開(kāi)信息，將主體間的關(guān)系以可視化的方式直觀呈現(xiàn)，為用戶提供全面可靠的企業(yè)數(shù)據(jù)分析，幫助用戶發(fā)現(xiàn)更多隱藏的商業(yè)利益關(guān)系，適合金融、投資、律師、記者、商務(wù)人士及時(shí)了解企業(yè)經(jīng)營(yíng)狀況、洞察企業(yè)

2、經(jīng)營(yíng)信息。
　　然而，在抓取互聯(lián)網(wǎng)公開(kāi)信息的時(shí)候，會(huì)遇到各種類型的驗(yàn)證碼，如填寫成語(yǔ)、漢語(yǔ)拼音、算術(shù)題、英文數(shù)字字母等等，人工識(shí)別或傳統(tǒng)技術(shù)識(shí)別無(wú)法適應(yīng)大量數(shù)據(jù)爬取的需求。因此需要設(shè)計(jì)一套高效的驗(yàn)證碼識(shí)別系統(tǒng)以有效提高信息的獲取速度，并為將來(lái)的數(shù)據(jù)挖掘獲取提供保障。
　　論文選題來(lái)源于公司實(shí)際應(yīng)用項(xiàng)目，在分析“天眼查”產(chǎn)品的驗(yàn)證碼識(shí)別需求的基礎(chǔ)上，設(shè)計(jì)和實(shí)現(xiàn)了基于深度學(xué)習(xí)的驗(yàn)證碼識(shí)別系統(tǒng)。論文完成的具體工作包括:完成了驗(yàn)證碼

3、識(shí)別系統(tǒng)的需求分析;設(shè)計(jì)了技術(shù)架構(gòu);將系統(tǒng)功能分解為基于深度學(xué)習(xí)的驗(yàn)證碼訓(xùn)練子系統(tǒng)、驗(yàn)證碼識(shí)別服務(wù)子系統(tǒng)和爬蟲應(yīng)用子系統(tǒng)三個(gè)相對(duì)獨(dú)立的部分，并分別完成了三個(gè)部分的概要設(shè)計(jì)、詳細(xì)設(shè)計(jì)和實(shí)現(xiàn);完成了對(duì)原有Spring、 Redis技術(shù)架構(gòu)進(jìn)行相匹配的架構(gòu)升級(jí)設(shè)計(jì);完成了系統(tǒng)功能測(cè)試。
　　本文的成果最終已經(jīng)成功應(yīng)用到“天眼查”平臺(tái)的實(shí)際生產(chǎn)環(huán)節(jié)中，驗(yàn)證碼識(shí)別率高，大大提高了爬蟲的爬取效率。論文涉及的軟件成果也已成功申請(qǐng)到了軟件著作權(quán)。