移動互聯(lián)網(wǎng)網(wǎng)絡側數(shù)據(jù)預處理技術的研究和應用.pdf

1、移動互聯(lián)網(wǎng)和大數(shù)據(jù)是近些年來學術界和工業(yè)界研究的熱點問題，電信運營商在向移動互聯(lián)網(wǎng)用戶提供服務的同時，產(chǎn)生了海量的移動互聯(lián)網(wǎng)網(wǎng)絡側數(shù)據(jù)。如何從這些海量數(shù)據(jù)中快速、準確、高效地提取價值，是電信運營商和學者們關注的核心問題。數(shù)據(jù)挖掘是從這些大數(shù)據(jù)提取價值的有效方法，數(shù)據(jù)挖掘的算法和模型已經(jīng)得到了深入的研究和廣泛的應用。
　　數(shù)據(jù)預處理是數(shù)據(jù)挖掘中的重要步驟，它為數(shù)據(jù)挖掘模型提供干凈、規(guī)范、適合的模型輸入，并提升數(shù)據(jù)挖掘模型的性能和效率

2、。然而，在實際數(shù)據(jù)挖掘應用中，數(shù)據(jù)的預處理工作通常在數(shù)據(jù)分析工作中占很大比重的工作量，特別對于時間序列這類復雜數(shù)據(jù)，預處理甚至會占到八成以上的工作量，研究和構建自動化的數(shù)據(jù)預處理系統(tǒng)是提高工作效率的必要途徑。
　　構建自動化的數(shù)據(jù)預處理系統(tǒng)的難點包括以下三個方面：如何自動選擇預處理算法和參數(shù)、如何自動化進行預處理模型的重訓練以及如何定量評價數(shù)據(jù)預處理的效果。其中自動化的預處理算法組合策略是實現(xiàn)自動化預處理系統(tǒng)的必要條件，因為實際數(shù)

3、據(jù)預處理任務必須過過若干預處理組件同時完成。本文提出了一種基于啟發(fā)式搜索的自動化算法組合策略。
　　本文的研究內容主要分為三個方面，首先，研究和分析了多種數(shù)據(jù)預處理方法，并構建了針對移動互聯(lián)網(wǎng)網(wǎng)絡側數(shù)據(jù)的數(shù)據(jù)預處理系統(tǒng)。其次，針對移動互聯(lián)網(wǎng)網(wǎng)絡側數(shù)據(jù)這種時間序列數(shù)據(jù)，本文提出了一種數(shù)據(jù)預處理流程，能有效針對時間序列數(shù)據(jù)進行預處理工作。最后，本文提出了一種基于啟發(fā)式搜索的自動化的數(shù)據(jù)預處理組合策略，能夠在給定的數(shù)據(jù)處理組件集合中選擇