基于MapReduce的網絡書寫紋識別關鍵技術研究.pdf

1、網絡書寫紋是指用戶在網絡文字中留下的具有獨特寫作風格(如用詞習慣、語法結構等)的特征集合。網絡書寫紋就像人的指紋一樣，是可以標記作者寫作特征的獨一無二的標識符。隨著研究的深入，作者數(shù)量增加，需要處理的總體數(shù)據規(guī)模也相應增加，另外，研究中還發(fā)現(xiàn)，在程序運行過程中，計算機的內存、CPU等資源并沒有得到充分的利用。本文嘗試對網絡書寫紋識別研究中的數(shù)據處理關鍵算法并行化，以期能夠充分利用計算機資源，提高數(shù)據處理的效率。
　　 Ngram

2、是指給定一個序列的文本，根據N值選擇等長或變長的連續(xù)子序列。研究證明，基于Ngram特征的抽取是構建網絡書寫紋個體特征集的重要技術，提高數(shù)據處理效率是Ngram特征抽取過程需要解決的重要內容。本文設計Hadoop-Ngram算法，并在Hadoop集群上實現(xiàn)，實驗結果表明，相對未并行化的Ngram特征抽取，Hadoop-Ngram在文本數(shù)據的處理效率上有所提升，同時，CPU、內存等資源的利用率也有所提高，計算機資源得到較充分的使用。在實驗

3、中，還通過配置Hadoop通用參數(shù)選項來比較數(shù)據的處理效率，實驗證明，根據處理任務的規(guī)模和特點靈活的配置Hadoop通用參數(shù)，可以使算法的運行效率進一步提高。
　　 基于特征選擇的集成學習(簡稱集成特征選擇)，是構建網絡書寫紋分類模型的重要技術，它首先對特征集合進行選擇，去除冗余和無效特征，然后按照一定的劃分算法對特征集進行劃分，將劃分好的特征子集分配到個體分類器，由個體分類器處理特征子集，最后將各個體分類器的結果匯總得到分類模