基于Hadoop的工作流系統(tǒng)設計與實現(xiàn).pdf

1、隨著云計算技術空前的發(fā)展和海量數(shù)據(jù)的計算需求更加膨脹，工作流系統(tǒng)作為用戶業(yè)務與云計算資源之間的紐帶和橋梁越發(fā)受到重視，現(xiàn)有的工作流管理系統(tǒng)多以第三方獨立系統(tǒng)形式與Hadoop等分布式計算平臺配合運行，將工作流的實際運行完全托管于分布式計算平臺，固然這種方案使工作流的管理更加簡化，卻造成了對工作流的執(zhí)行缺乏優(yōu)化、工作流的觸發(fā)方式單一以及無法運行實時工作流業(yè)務等亟待解決的問題。
　　本文提出了一種集成工作流引擎與Hadoop集群的工作

2、流系統(tǒng)架構方案，通過實現(xiàn)內(nèi)置于 Hadoop的可插拔模塊，使工作流系統(tǒng)具備在集群中識別工作流作業(yè)、解析工作流實例結構、控制工作流資源分配的能力，從而打破了工作流引擎與底層云計算集群間的壁壘。
　　為實現(xiàn)工作流引擎與云計算集群間的工作流信息傳遞，本文提出了針對本系統(tǒng)功能的工作流描述語言—iPDL，并詳細介紹了其承載工作流結構、配置信息能力。
　　為充分利用新架構帶來的優(yōu)勢，本文還提出了針對工作流作業(yè)調度的優(yōu)化算法以及針對混合