金融數(shù)據(jù)Web抓取及處理系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著金融市場的全球化發(fā)展以及計算機網(wǎng)絡(luò)技術(shù)的廣泛應(yīng)用，全球金融市場已經(jīng)開始走向金融網(wǎng)絡(luò)化，與此同時互聯(lián)網(wǎng)業(yè)已成為企業(yè)、機構(gòu)和個人獲取金融信息的主要來源；作為專業(yè)金融信息服務(wù)提供商，在面對如此海量、繁雜的互聯(lián)網(wǎng)金融信息資源時不可避免會遇到一個巨大的挑戰(zhàn)，即如何從互聯(lián)網(wǎng)中實時、快速地抓取和處理金融數(shù)據(jù)。RicGenerator(實習(xí)所在公司的項目名)就是在此背景下所開發(fā)的金融數(shù)據(jù)Web抓取及處理項目，該項目是一個利用Web數(shù)據(jù)抓取技術(shù)實時獲

2、取全球各個金融網(wǎng)站原始金融數(shù)據(jù)，并對金融數(shù)據(jù)做處理轉(zhuǎn)換生成特定格式的金融數(shù)據(jù)文件的應(yīng)用程序系統(tǒng)。
　　在RicGenerator項目中，本人參與完成了系統(tǒng)架構(gòu)的分析、設(shè)計和實現(xiàn)，包括表現(xiàn)層、業(yè)務(wù)層和數(shù)據(jù)層三層架構(gòu)的詳細設(shè)計與實現(xiàn)，以及文件系統(tǒng)操作、Excel進程操作、日志操作等系統(tǒng)公共模塊組件的開發(fā)；參與完成了系統(tǒng)用戶界面的設(shè)計，基于多線程技術(shù)的用戶交互的實現(xiàn)；參與完成了Web內(nèi)容抓取模塊的詳細設(shè)計與開發(fā)、Web數(shù)據(jù)抽取模塊的詳細