基于Hadoop的基礎教育資源的存儲和處理.pdf

1、基礎教育資源中蘊含了豐富的知識，研究如何從海量的基礎教育資源中獲取豐富的語義信息，構建基礎教育知識圖譜，對擴展類人智能系統的知識庫以及提高其智能水平具有重要意義。為了構建基礎教育知識圖譜，需要有海量的基礎教育資源數據作為支撐，因此構建一個基礎教育資源數據庫是構建基礎教育知識圖譜的基礎和關鍵。本文依托于863項目《面向基礎教育的類人智能知識理解與推理關鍵技術》（2015AA015403）主要圍繞基礎教育資源數據的獲取、存儲和處理這三個方面

2、進行了研究，其主要工作如下：
　　1）構建了一個基礎教育資源數據庫。利用設計的基于Scrapy框架的簡單分布式網絡爬蟲從互聯網上獲取基礎教育資源數據，并在MapReduce框架中對獲取的基礎教育資源數據進行處理，最后將處理后的數據存入HBase數據庫中，構建一個基礎教育資源數據庫。
　　2）提出了適合基礎教育資源在HDFS中的存儲方案。基礎教育資源具有小文件特性且數量較多，不適合直接存儲到HDFS中。本文提出了一種適合這些資

3、源小文件存儲的存儲方案，該方案首先將這些資源文件在內容上進行合并為較大文件，然后使用Sequence File技術將這些較大文件存儲到HDFS中。實驗結果表明，本文提出的存儲方案有利于節(jié)省存儲空間以及提高對這些基礎教育資源的處理效率。
　　3）改進了基于行塊分布函數的網頁正文提取算法。基于行塊分布函數的網頁正文提取算法會錯誤地將網頁中包含的鏈接塊當作正文信息提取出來。針對這個問題，本文對該算法進行了改進。在提取正文信息的過程中，增