基于電商平臺的產(chǎn)品評論大數(shù)據(jù)獲取及應(yīng)用.pdf

1、學校代碼：10663學號：4201310000747貴州師范大學碩士學位論文基于電商平臺的產(chǎn)品評論大數(shù)據(jù)獲取及應(yīng)用BigDataAcquisitionApplicationofProductReviewsBasedonElectronicBusinessPlatfm專業(yè)名稱：計算機科學與技術(shù)專業(yè)代碼：081200研究方向：數(shù)據(jù)挖掘、云計算與大數(shù)據(jù)申請人姓名：譚文斌導師姓名(職稱)：張?zhí)A(教授)二〇一六年四月七日摘要I摘要隨著電子商務(wù)的

2、迅速發(fā)展，網(wǎng)上購物變得越來越頻繁，各電商平臺每天都會產(chǎn)生大量的交易數(shù)據(jù)和用戶評論數(shù)據(jù)，對于用戶評論數(shù)據(jù)，其中蘊藏著許多有價值的信息，如產(chǎn)品的缺陷信息、用戶的需求信息等。對此，本文針對電商平臺中產(chǎn)品評論大數(shù)據(jù)獲取及應(yīng)用進行了深入研究，通過提取產(chǎn)品評論大數(shù)據(jù)中各屬性詞的評價觀點和意見，將提取的觀點經(jīng)過整合后生成評價摘要，以簡潔、易讀的形成呈現(xiàn)給用戶，為顧客購物提供更好的參考和指引，使商家更好地了解顧客需求，提升服務(wù)質(zhì)量，使產(chǎn)品設(shè)計人員能夠及

3、時了解用戶的使用體驗，改進產(chǎn)品設(shè)計的不足，提升產(chǎn)品質(zhì)量。對此，本文圍繞產(chǎn)品評論大數(shù)據(jù)的獲取、聚類、產(chǎn)品屬性詞識別、以及評價觀點的提取和整合等方面進行了深入研究，將Nutch網(wǎng)絡(luò)爬蟲與Hadoop相結(jié)合實現(xiàn)了評論數(shù)據(jù)的分布式爬取，提高了評論數(shù)據(jù)的爬取效率；將爬取的評論數(shù)據(jù)經(jīng)過預處理后得到評論數(shù)據(jù)集，采用TFIDF方法來計算特征詞的權(quán)重，采用基于向量空間模型的方法來計算評論語句的相似度，并將Canopy聚類算法與Kmeans聚類算法結(jié)合起來

4、使用，采用MapReduce框架來實現(xiàn)這兩種算法對評論數(shù)據(jù)的聚類分析，提高了評論數(shù)據(jù)的聚類效率和聚類精度。將爬取的海量評論數(shù)據(jù)經(jīng)過聚類分析后，得到以產(chǎn)品屬性詞為主要聚類中心的各個聚類族，采用基于產(chǎn)品屬性的評價觀點提取方法，將各個聚類族中關(guān)于產(chǎn)品屬性的評價觀點提取出來，經(jīng)過觀點整合后形成評價摘要，以評價摘要的形式呈現(xiàn)給用戶，提高了屬性詞評價觀點的可閱讀性。為了規(guī)范評論語句中屬性詞觀點的提取，本文構(gòu)建了評論數(shù)據(jù)的質(zhì)量評估體系，以確保提取的屬

5、性詞觀點的質(zhì)量，為觀點提取算法的優(yōu)化提供了參考依據(jù)。最后，以XX凈水器的評論數(shù)據(jù)為例，經(jīng)過聚類分析、屬性詞觀點提取和整合分析，生成了XX凈水器的評價摘要，得到了XX凈水器擁有的優(yōu)點和存在的不足，并對提取的屬性詞評價觀點的應(yīng)用作了簡要分析。通過應(yīng)用測試表明，本文所采取的評論數(shù)據(jù)的獲取和分析方法是正確的和有效的，所提取的各屬性詞評價觀點對設(shè)計人員和用戶具有重要意義，為電商平臺中評論大數(shù)據(jù)的獲取、分析和應(yīng)用提供了新的思路和方法。關(guān)鍵詞：產(chǎn)品評