IPTVQOS日志分析方法研究.pdf

1、近年來，大數(shù)據(jù)無疑是IT業(yè)最熱門的新興技術，如今各行各業(yè)的數(shù)據(jù)量都達到的新的高度。作為數(shù)據(jù)首先達到飽和的IT業(yè)成為了大數(shù)據(jù)技術最為先進的行業(yè)，各大互聯(lián)網(wǎng)公司及數(shù)據(jù)庫廠商相繼開發(fā)或推出了自己的大數(shù)據(jù)產品。從而解決日常運營中所遇到的問題。本文主要介紹在IPTVQos日志分析項目中，面對需求方提出的數(shù)據(jù)挖掘及聚類問題，尋找合適的解決方案，文中首先闡述了項目的背景情況，隨后介紹了前期項目的進展情況及采取的應對措施，隨后提出本期項目的預期功能:1

2、、異常數(shù)據(jù)的剔除;2、海量數(shù)據(jù)的異常原因分析。針對提出的問題，文中列舉了一些大數(shù)據(jù)的解決方案加以對比，最終選定以hadoop為大數(shù)據(jù)平臺以完成數(shù)據(jù)的分析挖掘工作，文中隨后介紹了Hadoop框架下各個組成部分及各部分的特點、使用方式及使用場景。在接下來的章節(jié)中，文中列出了開發(fā)過程中遇到的一些技術難點，1、海量屬性值的遍歷;2、海量計算耗時過長;3、屬性的級聯(lián)關系處理;4、缺乏排序依據(jù);5、排名智能分析;6、異常數(shù)據(jù)的剔除。之后對各項技術難