一種基于Spark的語義推理引擎實現(xiàn)及應用.pdf

1、近些年在知識圖譜蓬勃發(fā)展的大背景下，與之相關的語義Web的數(shù)據(jù)規(guī)模也呈現(xiàn)爆發(fā)態(tài)勢。如何在大規(guī)模語義Web數(shù)據(jù)上有效地進行語義推理是研究者們面臨的棘手問題。具體來說，在大規(guī)模語義Web數(shù)據(jù)上實施語義推理時，計算量巨大、消耗時間長都是突出的問題，特別是當應用復雜規(guī)則邏輯進行推理時，情況更是如此。傳統(tǒng)單機環(huán)境下的語義推理引擎無法應對大規(guī)模知識圖譜下的推理，缺乏可擴展性方面的考慮，難以滿足在數(shù)據(jù)規(guī)模上日益增長的語義關聯(lián)數(shù)據(jù)的推理需求。從分布式角

2、度來看，已有的基于Hadoop MapReduce實現(xiàn)的語義推理框架由于欠缺推理算法相關的網(wǎng)絡通信和磁盤I/0等的優(yōu)化，推理效率依然較低。
　　本文針對上述問題，圍繞分布式內(nèi)存計算平臺Spark，研究以下幾個方面的內(nèi)容:首先設計一個良好模塊化且推理規(guī)則可配置的完整分布式推理引擎架構。接著研究現(xiàn)有的單機和分布式語義推理算法，基于Spark框架對相關算法進行分布式的實現(xiàn)，并針對Spark的原理和特點做相應的優(yōu)化。將基于Spark實現(xiàn)的