電子商務海量數(shù)據(jù)的獲取、存儲及檢索.pdf

1、隨著互聯(lián)網的快速發(fā)展,電子商務在人們的生活中占據(jù)著越來越重要的地位。在電子商務的整個環(huán)節(jié)中,數(shù)據(jù)處于最為核心的位置,處理好數(shù)據(jù)之間的關系,直接影響著電子商務商城的穩(wěn)定性。
　　 本課題基于電子商務商城的建設過程,研究并實現(xiàn)了一系列數(shù)據(jù)處理的方法。首先,為了獲取商城需要展示的數(shù)據(jù),需要從多種途徑獲取數(shù)據(jù)源,合理的安排好數(shù)據(jù)處理任務之間的關系,可以保證數(shù)據(jù)的穩(wěn)定性以及時效性,課題經過實踐完成了一套完整的數(shù)據(jù)任務分發(fā)機制以及數(shù)據(jù)運行狀

2、態(tài)的監(jiān)控體系,在上百種任務并行運行的情況下,可以保證服務器的正常運行以及數(shù)據(jù)任務處理的穩(wěn)定,從而保證了數(shù)據(jù)的有效性。
　　 其次,在處理好數(shù)據(jù)獲取任務的基礎之上,需要針對海量的數(shù)據(jù)進行存儲。海量數(shù)據(jù)的存儲需要解決可擴展性的問題,即在不修改基礎結構的前提下,快速的介入其他的商城的數(shù)據(jù);同時需要處理好過期數(shù)據(jù)刪除之后表空間利用的問題;最后存儲系統(tǒng)需要容納海量的數(shù)據(jù),隨著時間的延長,數(shù)據(jù)量急劇增加,數(shù)據(jù)存儲系統(tǒng)需要具備海量的存儲能力。

3、基于以上問題,本課題通過兩種存儲方式的實踐進行總結,完成了一套可擴展性的存儲方案,在每天幾十G數(shù)據(jù)進行更新的前提下,系統(tǒng)運行穩(wěn)定并且擁有很好的普遍適用性。
　　 最后,在解決了數(shù)據(jù)的獲取以及數(shù)據(jù)的存儲之后,數(shù)據(jù)的檢索系統(tǒng)直接影響著用戶的體驗,檢索系統(tǒng)的優(yōu)劣直接影響著用戶的選擇。檢索系統(tǒng)需要解決檢索數(shù)據(jù)的有效性、準確性以及檢索的效率。本課題通過sphinx檢索引擎的研究,結合數(shù)據(jù)庫共同實現(xiàn)平臺的檢索系統(tǒng),可以為用戶提供關鍵字以及屬