基于Hadoop的API使用模式挖掘系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、在開(kāi)源運(yùn)動(dòng)下，產(chǎn)生了大量?jī)?yōu)秀的第三方庫(kù)和框架，開(kāi)發(fā)人員可以運(yùn)用這些框架進(jìn)行軟件重構(gòu)，但是有許多第三方庫(kù)缺少相關(guān)文檔和使用說(shuō)明書(shū)，對(duì)于軟件開(kāi)發(fā)人員是不小的困難，需要花時(shí)間來(lái)研究如何使用第三方庫(kù)。另一方面，許多軟件開(kāi)發(fā)中存在中不必要的和缺陷代碼，由于人工檢測(cè)比較慢和成本的限制。
　　為了能夠快速有效檢索代碼，設(shè)計(jì)并實(shí)現(xiàn)了基于Hadoop的API使用模式挖掘系統(tǒng)。該系統(tǒng)架構(gòu)分為四層，分別是表示層、業(yè)務(wù)邏輯層、數(shù)據(jù)訪問(wèn)層和運(yùn)算層，其中數(shù)據(jù)

2、訪問(wèn)層采用MYSQL和文件進(jìn)行存儲(chǔ)，運(yùn)算層采用Hadoop進(jìn)行并行運(yùn)算。系統(tǒng)的功能分為四大模塊，分別是文件功能模塊、API使用模式挖掘模塊、API使用模式搜索模塊和用戶管理功能模塊。為了提高API（應(yīng)用程序編程接口）使用模式提取速度，采用Hadoop集群進(jìn)行并行提取使用模式。其中提取的過(guò)程，首先將Class文件分塊存儲(chǔ)在HDFS上，存儲(chǔ)的文件格式為SequeceFile，然后利用MapReduce編程模型并行分析這些已被分塊的文件，Ma

3、p過(guò)程是將Class文件用Prime提取出API使用模式，輸出到Reduce的Key采用類名表示，Value是API使用模式對(duì)象集合序列化后的二進(jìn)制數(shù)據(jù)，Reduce過(guò)程將具有相同類的API使用模式聚合在一起并將結(jié)果存儲(chǔ)到HDFS文件系統(tǒng)中，最后將Reduce輸出的結(jié)果更新到API使用模式庫(kù)。業(yè)務(wù)邏輯層采用Servlet做為數(shù)據(jù)交換的接口，與數(shù)據(jù)訪問(wèn)層和運(yùn)算層進(jìn)行數(shù)據(jù)交互并將結(jié)果返回給表示層，利用mybaties框架對(duì)數(shù)據(jù)持久化，在表現(xiàn)

4、層上，采用了CSS、JavaScript、Jquery和BootStrap等技術(shù)。系統(tǒng)后臺(tái)部署在Tomcat上，用于并行運(yùn)算的Hadoop集群共擁有八臺(tái)Linux服務(wù)器，系統(tǒng)經(jīng)過(guò)嚴(yán)格的的模塊調(diào)試和系統(tǒng)測(cè)試，基本達(dá)到了系統(tǒng)的預(yù)期要求。
　　實(shí)驗(yàn)表明，在Hadoop集群上進(jìn)行API使用模式提取，得出的結(jié)果與單機(jī)的提取結(jié)果一致，而且提取API使用模式的速度與Hadoop集群的機(jī)器的數(shù)量的關(guān)系是成正相關(guān)，因此基于Hadoop的API使用模