基于Hadoop自動文本分類的研究與實現.pdf

1、隨著互聯網技術的快速發(fā)展以及互聯網的普及,網絡上的信息數據呈指數冪級增長。在這些海量數據中,類似于Web文本結構化或半結構化的數據居多,因此如何快速的在網絡上查找定位用戶需要的有效信息成為一項迫切需要解決的問題。為了提高用戶查找效率和準確率,對這些結構化或半結構化文本數據有效的整理分類是至關重要的。雖然分類技術已經發(fā)展到一定成熟階段,但是面對海量數據時,由于計算機硬件發(fā)展速度永遠趕不上客戶需求的速度,面臨著如何在現在有的硬件基礎上實現海

2、量數據高并發(fā)處理,以及快速響應的挑戰(zhàn)。因此本文的研究目的在于設計和實現了一種大規(guī)模文本自動分類系統。
　　在面臨海量數據呈指數冪級增長和分類需求迫切,以及云計算興起和分類技術相對成熟的背景下,提出了一種基于 Hadoop文本自動分類設計與實現的方法。首先,對Hadoop系統框架進行研究,包括其子項目MapReduce和Hadoop分布式文件系統(HDFS)的研究,然后建立配置Hadoop集群系統。其次,對當前成熟的分類技術和算法,