《招投標(biāo)項(xiàng)目信息大數(shù)據(jù)平臺(tái)建設(shè)方案》

1、招投標(biāo)項(xiàng)目信息大數(shù)據(jù)平臺(tái),建設(shè)方案,2018,年,1,月,目,CONTENTS,錄,背景介紹,PART ONE,PART TWO,平臺(tái)功能,PART THREE,技術(shù)方案,PART FOUR,工期計(jì)劃,System introduce,背景介紹,建設(shè)背景,1.1,、,市場(chǎng),規(guī)模,行業(yè),產(chǎn)品,各省,人,市場(chǎng)拓展是,2018,年公司的重要工作內(nèi)容，公司的產(chǎn)品與各級(jí)政府的投資密切相,關(guān)，我們需要根據(jù)市場(chǎng)規(guī)模情況，規(guī)劃公司相關(guān)人力等資源的支持和

2、保障。,公司發(fā)展方向以產(chǎn)品銷售、集成開發(fā)服務(wù)、運(yùn)維服務(wù)為主的三個(gè)業(yè)務(wù)線條，行業(yè),專家和主打產(chǎn)品是我們的核心競(jìng)爭(zhēng)力，需集中優(yōu)勢(shì)資源做大做強(qiáng)。,各省市場(chǎng)拓展人員，需要與各省的各級(jí)政府達(dá)成協(xié)作，謀取更多項(xiàng)目收入，合作,的領(lǐng)域和資源的分配需協(xié)調(diào)。,制度,聯(lián)動(dòng),公司發(fā)展方向和行業(yè)、產(chǎn)品方向，專業(yè)人才的培養(yǎng)，各省的協(xié)作等都,需要公司進(jìn)行資源分配等決策，需要,市場(chǎng)、政策、行業(yè)數(shù)據(jù)的支持！,1.2,、,現(xiàn)狀分析,缺乏區(qū)域行業(yè)產(chǎn)品市場(chǎng)總體規(guī)模估算,?,對(duì)

3、投入多少市場(chǎng)人力技術(shù)等資源無(wú)法進(jìn)行有效評(píng)估；,缺乏區(qū)域行業(yè)產(chǎn)品市場(chǎng)行業(yè)占比分析,?,對(duì)公司主要產(chǎn)品和服務(wù)發(fā)展拓展方向和領(lǐng)域不能提供支持；,缺乏區(qū)域行業(yè)產(chǎn)品市場(chǎng)競(jìng)爭(zhēng)對(duì)手的分析,?,對(duì)同行業(yè)的競(jìng)爭(zhēng)對(duì)手公開市場(chǎng)行為無(wú)統(tǒng)一的分析；,區(qū)域行業(yè)產(chǎn)品市場(chǎng)招投標(biāo)項(xiàng)目信息及時(shí)獲取困難,?,對(duì)關(guān)注領(lǐng)域的招標(biāo)信息不能主動(dòng)獲得，人為因素多；,各省行業(yè)產(chǎn)品市場(chǎng)數(shù)據(jù)引領(lǐng)自身業(yè)務(wù),?,沒(méi)有自己的數(shù)據(jù)支持隊(duì)伍，找外邊的咨詢又太貴；,解決思路,1.3,、,需及時(shí)獲取各省

4、、市,ICT,公開市場(chǎng)項(xiàng)目、政策、行業(yè)等信息，進(jìn)行統(tǒng)計(jì)分析，用數(shù)據(jù)分,政府公告,行業(yè)動(dòng)態(tài),招標(biāo)信息,析結(jié)果進(jìn)行有效的支撐。,?,及時(shí)獲取各級(jí)政府發(fā)文、公告等信息，了解區(qū)域最新政策動(dòng)態(tài)，抓住政府時(shí)事,熱點(diǎn)，有效把握工作重點(diǎn)，提供更好的服務(wù)支持。,?,及時(shí)獲取各大網(wǎng)站科技頻道行業(yè)領(lǐng)域熱點(diǎn)新聞，科技新聞等動(dòng)態(tài)，掌握行業(yè)最,新的動(dòng)態(tài)，調(diào)整行業(yè)重點(diǎn)及產(chǎn)品發(fā)展方向，跟隨技術(shù)進(jìn)步。,?,及時(shí)獲取區(qū)域,解競(jìng)爭(zhēng)對(duì)手的優(yōu)勢(shì)和劣勢(shì)，及時(shí)把握最新招標(biāo)公告，避免

5、商機(jī)丟失。,ICT,招投標(biāo)、中標(biāo)等信息，獲得區(qū)域投資總量，獲取中標(biāo)情況，了,建設(shè)目標(biāo)和內(nèi)容,1.4,、,通過(guò)軟件系統(tǒng)，及時(shí)獲取區(qū)域產(chǎn)品和服務(wù)公開市場(chǎng)招投標(biāo)項(xiàng)目信息，進(jìn)行分類匯總分析，輔助,數(shù)據(jù)爬蟲服務(wù),爬取指定區(qū)域的政,府招投標(biāo)網(wǎng)站上公,開的招標(biāo)和中標(biāo)信,息。,公司發(fā)展方向、行業(yè)、產(chǎn)品等方面的決策。,審計(jì)分類工具,數(shù)據(jù)展示門戶,分析報(bào)告模板,管理后臺(tái),對(duì)爬取的項(xiàng)目信息,將審計(jì)過(guò)的可用的,根據(jù)市場(chǎng)業(yè)務(wù)的需,初期對(duì)企業(yè)內(nèi)部服,進(jìn)行分類和審計(jì)

6、，,項(xiàng)目招投標(biāo)數(shù)據(jù)進(jìn),求，可以定制分析,務(wù)，后期公眾號(hào)等,按行業(yè)分類，查重，,行匯總分析，多種,的模板，自動(dòng)輸出，,提供云服務(wù)，為其,合規(guī)校驗(yàn)入庫(kù)。,方式展示。,數(shù)據(jù)說(shuō)話。,他企業(yè)提供咨詢。,Platform function,平臺(tái)功能,總體功能結(jié)構(gòu),2.1,、,平臺(tái)總體由六部分組成，包括數(shù)據(jù)爬蟲服務(wù)，數(shù)據(jù)存儲(chǔ)子系統(tǒng)、數(shù)據(jù)分析系統(tǒng)、數(shù)據(jù)展示子系統(tǒng)，后臺(tái)管理,子系統(tǒng)，微信公眾號(hào)子系統(tǒng)。,數(shù)據(jù)采集,數(shù)據(jù)校驗(yàn)存儲(chǔ),數(shù)據(jù)分析預(yù)警,數(shù)據(jù)展示,企業(yè)

7、云服務(wù),數(shù)據(jù)展示門戶平臺(tái),公眾號(hào)服務(wù)平臺(tái),基于,mysql,的關(guān)系型數(shù)據(jù)中心,安,全,信,體,系,招標(biāo)項(xiàng),目信息,中標(biāo)項(xiàng),目信息,行業(yè)分,類信息,國(guó)家及,各地政,行業(yè)最,平臺(tái)用,其他信,息,審,府政策,新動(dòng)態(tài),信息,信息,戶信息,用戶定,制消息,推送信,息,......,核,息,規(guī),則,制,定,基于,mogoDB,的大數(shù)據(jù)存儲(chǔ),數(shù)據(jù)爬蟲服務(wù),數(shù)據(jù)爬蟲服務(wù),2.2,、,數(shù)據(jù)爬蟲服務(wù)從政府采購(gòu)網(wǎng)站、政府電子政務(wù)網(wǎng)站、主流媒體網(wǎng)站抓取相關(guān)信息

8、，經(jīng)過(guò)初步分類，存儲(chǔ)到大,數(shù)據(jù)平臺(tái)。,數(shù)據(jù)爬蟲服務(wù)功能說(shuō)明,編號(hào),1,2,3,4,5,6,7,8,9,功能描述,主動(dòng)觸發(fā)，根據(jù)定制目標(biāo)信息網(wǎng)站列表，定時(shí)主動(dòng)檢測(cè)是否有新信息發(fā)布,分析目標(biāo)網(wǎng)站,url,，獲取要抓取的項(xiàng)目信息或政策等信息的,url,清單,將,url,存儲(chǔ)到消息隊(duì)列中，可采用,kafaka,或,activeMQ,等,爬蟲服務(wù)從消息隊(duì)列中獲得,url,，根據(jù)不同網(wǎng)站適配器，進(jìn)行數(shù)據(jù)的爬取,進(jìn)行信息的檢查審核，關(guān)鍵信息是否缺失，

9、對(duì)缺失的信息進(jìn)行標(biāo)記,進(jìn)行數(shù)據(jù)的簡(jiǎn)單分類，主要是三類項(xiàng)目、政策和行業(yè),大部分的數(shù)據(jù)記錄通過(guò)檢查,未通過(guò)檢查的記錄存入指定錯(cuò)誤明細(xì)表,通過(guò),hive sql,寫入,hbase,中，同時(shí)寫入分析服務(wù)消息隊(duì)列中一份,10,記錄日志,數(shù)據(jù)分析服務(wù),2.3,、,數(shù)據(jù)分析服務(wù)將初步分類的信息，根據(jù)定制的模版和行業(yè)，進(jìn)行大數(shù)據(jù)處理，寫入關(guān)系型數(shù)據(jù)庫(kù)中，便于進(jìn),行數(shù)據(jù)的展示和結(jié)果的獲取。,數(shù)據(jù)分析服務(wù)功能說(shuō)明,編號(hào),1,2,3,4,5,6,7,8,功能

10、描述,主動(dòng)觸發(fā)，根據(jù)消息隊(duì)列中定制消息變化，進(jìn)行網(wǎng)頁(yè)的分析處理,根據(jù)定制模版分析目標(biāo)網(wǎng)頁(yè)中關(guān)鍵的數(shù)據(jù)項(xiàng)，如項(xiàng)目名稱，中標(biāo)金額，中標(biāo)廠商等,對(duì)分析出的關(guān)鍵信息進(jìn)行合規(guī)檢查,對(duì)合法信息，記錄到,mysql,中，對(duì)缺失的信息進(jìn)行標(biāo)記，改進(jìn)適配器類型和定制模版,進(jìn)行數(shù)據(jù)的行業(yè)分類，標(biāo)記信息的行業(yè)屬性，可能有多個(gè),通過(guò)大數(shù)據(jù),storm,平臺(tái)進(jìn)行處理,記錄日志,未通過(guò)檢查的記錄存入指定錯(cuò)誤明細(xì)表,數(shù)據(jù)展示服務(wù),2.4,、,數(shù)據(jù)展示服務(wù)將關(guān)系型數(shù)據(jù)

11、庫(kù)中可使用數(shù)據(jù)，通過(guò)自動(dòng)化報(bào)表工具進(jìn)行展示，可根據(jù)業(yè)務(wù)需求，進(jìn)行行業(yè)分,類展示和匯總。,數(shù)據(jù)展示服務(wù)功能說(shuō)明,編號(hào),1,2,3,4,5,6,7,8,功能描述,用戶的管理，包括用戶的增加，刪除，修改，權(quán)限，登錄等,自動(dòng)化報(bào)表工具,定制的主題報(bào)表，按行業(yè)等進(jìn)行匯總分析，也可按區(qū)域進(jìn)行，根據(jù)要求,對(duì)某廠商的分析，針對(duì)某具體廠商的單獨(dú)分析,同行業(yè)多廠商的對(duì)比分析，比較廠商的市場(chǎng)份額等,某區(qū)域總的政府投資總額分析，行業(yè)占比分析等,數(shù)據(jù)的推送服務(wù)，

12、根據(jù)某用戶的定制申請(qǐng)，可進(jìn)行主動(dòng)推送某行業(yè)消息,記錄日志,數(shù)據(jù)適配器模型,2.5,、,數(shù)據(jù)適配器模型是根據(jù)目標(biāo)網(wǎng)站的,url,，適配該網(wǎng)站招投標(biāo)信息、政策信息等功能區(qū)域的方法，通常需要根,據(jù)該網(wǎng)站的升級(jí)，不斷進(jìn)行更改。,數(shù)據(jù)適配器功能說(shuō)明,編號(hào),1,2,3,4,5,6,7,8,功能描述,網(wǎng)站清單的維護(hù),行業(yè)分類的維護(hù),適配器的定制，加載，變更，維護(hù),關(guān)鍵數(shù)據(jù)項(xiàng)的維護(hù),網(wǎng)頁(yè)適配器的維護(hù)，對(duì)某具體網(wǎng)頁(yè)關(guān)鍵信息抓取的適配器定制，加載，變更等,

13、適配器的測(cè)試工具，定期測(cè)試適配器是否正常工作,如檢測(cè)失敗，可進(jìn)行主動(dòng)推送預(yù)警消息,記錄日志,Technical scheme,技術(shù)方案,3.1,、,技術(shù)方案,-,架構(gòu)圖,數(shù)據(jù)展示,web,BootStrap,Ajax,數(shù)據(jù)展示,H5,BootStrap,Ajax,Android,客戶端,Ionic,Sqlite,AnglauerJs,Volley,微信小程序、公眾號(hào),js,微信,api,接口總線,/,數(shù)據(jù)服務(wù),Web,接口,RESTfu

14、l,OAuth,H5,接口,SpringMVC,JPA,客戶端,接口,Solr,Memcached,Redis,數(shù)據(jù)分析服務(wù),任務(wù)管理,配置管理,kafaka,報(bào)表管理,行業(yè)管理,Mysql,activeMQ,MongoDB,數(shù)據(jù)庫(kù),數(shù)據(jù)爬蟲服務(wù),kafaka,model,httpclient,…..,3.2,、,技術(shù)方案,-,網(wǎng)絡(luò)拓?fù)?網(wǎng)絡(luò)帶寬考慮,20M,獨(dú)享，初步滿足各省招投標(biāo)項(xiàng)目的數(shù)據(jù)使用，,30,個(gè)網(wǎng)站，每天約,10000,個(gè)

15、左右招標(biāo),及中標(biāo)項(xiàng)目數(shù)據(jù)。,3.3,、,服務(wù)器,全部采用,x86,開放架構(gòu)，單服務(wù)器配置建議如下所示。,服務(wù)器類型,服務(wù)器功能,mogoDB,服務(wù)器,數(shù)據(jù)存儲(chǔ)平臺(tái),（,mogoDB,及,mysql,集群）,mysql,服務(wù)器,數(shù)據(jù)爬蟲服務(wù)器,數(shù)據(jù)爬取及分析,平臺(tái),數(shù)據(jù)分析審計(jì)服務(wù)器,數(shù)據(jù)展示,服務(wù)器,數(shù)據(jù)展示平臺(tái),（包括接口）,數(shù)據(jù)接口,服務(wù)器,數(shù)量,10,3,3,3,3,3,CPU,32,32,12,12,32,32,內(nèi)存,128G,

16、128G,24G,24G,128G,128G,網(wǎng)口,2*1Gb,2*1Gb,2*1Gb,2*1Gb,2*1Gb,2*1Gb,操作系統(tǒng),Centos 6.3,Centos 6.3,Centos 6.3,Centos 6.3,Centos 6.3,Centos 6.3,內(nèi)置盤,1*2TB 7200,RPM,SATA disks,4*600GB 15K SAS,disks RAID 0+1,1TB 7200,RPM,SATA disks,4*

17、600GB 15K SAS,disks RAID 0+1,2*2TB 7200,RPM,SATA disks,4*600GB 15K SAS,disks RAID 0+1,3.4,、,關(guān)鍵技術(shù),-storm,Apache Storm,是一個(gè)分布式實(shí)時(shí)大數(shù)據(jù)處理系統(tǒng)。,Storm,設(shè)計(jì)用于在容錯(cuò)和水平可擴(kuò)展方法中處理大量數(shù),據(jù)。,Storm,是,Twitter,開源的分布式實(shí)時(shí)大數(shù)據(jù)處理框架，被業(yè)界稱為實(shí)時(shí)版,Hadoop,，隨著大數(shù)據(jù)實(shí)

18、時(shí)處理,解決方案（流計(jì)算）的應(yīng)用日趨廣泛，目前已是分布式技術(shù)領(lǐng)域最新爆發(fā)點(diǎn)，而,Storm,更是流計(jì)算技術(shù)中的,佼佼者和主流。,Storm,框架主要由,7,部分組成。,Topology,：一個(gè)實(shí)時(shí)應(yīng)用的計(jì)算任務(wù)被打包作為,Topology,發(fā)布，這同,Hadoop,的,MapReduce,任務(wù)相似。,Spout,：,Storm,中的消息源，用于為,Topology,生產(chǎn)消息,（數(shù)據(jù)），一般是從外部數(shù)據(jù)源（如,Message Queue,

19、、,RDBMS,、,NoSQL,、,Realtime Log,）不間斷地讀取數(shù)據(jù),并發(fā)送給,Topology,消息（,tuple,元組）。,Bolt,：,Storm,中的消息處理者，用于為,Topology,進(jìn)行消,息的處理，,Bolt,可以執(zhí)行過(guò)濾，聚合，,查詢數(shù)據(jù)庫(kù)等操,作，而且可以一級(jí)一級(jí)的進(jìn)行處理。,Stream,：產(chǎn)生的數(shù)據(jù)（,tuple,元組）。,Stream grouping,：在,Bolt,任務(wù)中定義的,Stream,進(jìn)

20、行區(qū),分。,Task,：每個(gè),Spout,或者,Bolt,在集群執(zhí)行許多任務(wù)。,Worker,：,Topology,跨一個(gè)或多個(gè),Worker,節(jié)點(diǎn)的進(jìn)程執(zhí),行。,3.5,、,關(guān)鍵技術(shù),-mogoDB,MongoDB,是一個(gè)新的和普遍使用的數(shù)據(jù)庫(kù),它是一個(gè)基于文檔的非關(guān)系數(shù)據(jù)庫(kù)提供程序。,雖然它比傳統(tǒng)的數(shù)據(jù)庫(kù)快,100,倍，但早期說(shuō)它將廣泛地取代傳統(tǒng)的,RDBMS,。,但是，不可否認(rèn)的是：在性能,和可擴(kuò)展性方面,MongoDB,有著明顯

21、的優(yōu)勢(shì)。,關(guān)系數(shù)據(jù)庫(kù)具有典型的架構(gòu)設(shè)計(jì)，可以顯示表的數(shù)量以及這些表之間的關(guān)系，而在,MongoDB,中則沒(méi)有關(guān)系,的概念。,MongoDB,優(yōu)點(diǎn),MongoDB,的架構(gòu)較少。它是一個(gè)文檔數(shù)據(jù)庫(kù)，它的一個(gè)集合持有不同的文檔。,從一個(gè)到另一個(gè)的文檔的數(shù)量，內(nèi)容和大小可能有差異。,MongoDB,中單個(gè)對(duì)象的結(jié)構(gòu)很清淅。,MongoDB,中沒(méi)有復(fù)雜的連接。,MongoDB,提供深度查詢的功能，因?yàn)樗С謱?duì)文檔的強(qiáng)大的動(dòng)態(tài)查詢。,MongoDB

22、,很容易擴(kuò)展。它使用內(nèi)部存儲(chǔ)器來(lái)存儲(chǔ)工作集，這是其快速訪問(wèn)的原因。,使用方便,重量輕,/,輕量級(jí),比,RDBMS,快得多,應(yīng)該使用,MongoDB,在哪些場(chǎng)景,大而復(fù)雜的數(shù)據(jù)，移動(dòng)和社會(huì)基礎(chǔ)設(shè)施數(shù)據(jù)，內(nèi)容管理和交付，用戶數(shù)據(jù)管理，數(shù)據(jù)中心。,3.5,、,關(guān)鍵技術(shù),-kafaka,Kafka,是一個(gè)分布式的、可分區(qū)的、可復(fù)制的消息系統(tǒng)。它提供了普通消息系統(tǒng)的功能，但具有自己獨(dú)特的,設(shè)計(jì)。,Kafka,將消息以,topic,為單位進(jìn)行歸納。

23、,將向,Kafka topic,發(fā)布消息的程序稱為,producers,，將預(yù)訂,topics,并消費(fèi)消息的程,序稱為,consumer,。,Kafka,以集群的方式運(yùn)行，可以由一個(gè)或多個(gè)服務(wù)組成，每,個(gè)服務(wù)叫做一個(gè),broker.producers,通過(guò)網(wǎng)絡(luò)將消息發(fā)送到,Kafka,集群，集群向消,費(fèi)者提供消息，如右圖所示。,Kafka,提供的一個(gè)抽象概念,:topic,。,一個(gè),topic,是對(duì)一組消息的歸納。對(duì)每個(gè),topic,，

24、,Kafka,對(duì)它的日志進(jìn),行了分區(qū)，如左圖所示。,每個(gè)分區(qū)都由一系列有序的、不可變的消息組成，這些消息被連續(xù),的追加到分區(qū)中。分區(qū)中的每個(gè)消息都有一個(gè)連續(xù)的序列號(hào)叫做,offset,,用來(lái)在分區(qū)中唯一的標(biāo)識(shí)這個(gè)消息。,在一個(gè)可配置的時(shí)間段內(nèi)，,Kafka,集群保留所有發(fā)布的消息，不管這,些消息有沒(méi)有被消費(fèi)。,Kafka,的性能是和數(shù)據(jù)量無(wú)關(guān)的常量級(jí)的，所,以保留太多的數(shù)據(jù)并不是問(wèn)題。,project plan,工期計(jì)劃,4.1,、,項(xiàng)