基于Neo4j的大數(shù)據(jù)組織檢索研究與應(yīng)用.pdf

1、隨著數(shù)據(jù)規(guī)模的增大，傳統(tǒng)關(guān)系型數(shù)據(jù)庫RDBMS在擴展性方面的瓶頸讓人們無所適從，如何存儲、檢索、分析大數(shù)據(jù)及其之間深層次的關(guān)聯(lián)關(guān)系，已逐漸成為一個不可忽略的問題。作為一種無模式的數(shù)據(jù)存儲模型，圖形數(shù)據(jù)庫Neo4j善于處理大量復(fù)雜、互連接且低結(jié)構(gòu)化的數(shù)據(jù)，同時可以應(yīng)用圖論進行各種復(fù)雜嚴(yán)密的數(shù)學(xué)計算，挖掘數(shù)據(jù)間的關(guān)聯(lián)關(guān)系。本文通過研究圖形數(shù)據(jù)庫Neo4j，設(shè)計和實現(xiàn)了一種基于Neo4j的大數(shù)據(jù)組織檢索挖掘方案。本文主要工作如下:
　　

2、首先，本文設(shè)計了一種基于圖形數(shù)據(jù)庫Neo4j存儲組織大規(guī)模數(shù)據(jù)的解決方案。針對傳統(tǒng)關(guān)系型數(shù)據(jù)庫RDBMS在擴展性方面的瓶頸，本文通過研究圖形數(shù)據(jù)庫Neo4j自身的性能，將數(shù)據(jù)組織成圖的形式，配置集群，利用圖的頂點和邊分別表示實體和實體間的關(guān)系，最終通過對點、邊的組織來存儲多源異構(gòu)的海量數(shù)據(jù)。
　　其次，在基于Neo4j組織數(shù)據(jù)的基礎(chǔ)上，針對現(xiàn)有方法檢索結(jié)果TOP-K查準(zhǔn)率較低這一問題，設(shè)計了一種面向Neo4j的全文檢索算法。該算法

3、首先提取Neo4j中節(jié)點的對應(yīng)屬性，經(jīng)過中文分詞后構(gòu)建全文索引，然后通過引入向量空間模型及Lucene相關(guān)技術(shù)，計算查詢關(guān)鍵詞與待檢索節(jié)點的相似度，最終實現(xiàn)檢索結(jié)果按相似性大小排序。
　　最后，利用圖論相關(guān)知識挖掘數(shù)據(jù)間的關(guān)聯(lián)關(guān)系，包括智能推薦、影響力分析、聚類分析及路徑分析，最終完成了基于Neo4j的大數(shù)據(jù)組織檢索系統(tǒng)，包括數(shù)據(jù)組織模塊、數(shù)據(jù)檢索模塊以及數(shù)據(jù)分析模塊。同時對本文設(shè)計的基于Neo4j的大數(shù)據(jù)組織檢索挖掘系統(tǒng)進行了功