基于新聞評(píng)論數(shù)據(jù)的K-means聚類算法的研究.pdf

1、互聯(lián)網(wǎng)在經(jīng)濟(jì)社會(huì)生活中發(fā)揮著日益重要的影響，成為公眾表達(dá)民意、參與經(jīng)濟(jì)政治及社會(huì)生活的一種新的輿論平臺(tái)。個(gè)人網(wǎng)站、論壇、博客、評(píng)論區(qū)的出現(xiàn)，使信息傳播更加便利快捷，個(gè)人觀點(diǎn)的表達(dá)也更加充分。
　　 中國社會(huì)科學(xué)院社會(huì)藍(lán)皮書2010年中國社會(huì)形勢分析與預(yù)測指出，網(wǎng)絡(luò)媒體正成為輿論新格局的重要組成部分，網(wǎng)絡(luò)上熱點(diǎn)新聞?dòng)^點(diǎn)的表達(dá)集中不僅反映了公眾對(duì)社會(huì)重大公共事件的參與，而且反映了公眾所表現(xiàn)出的各種價(jià)值判斷和思想動(dòng)態(tài)，所形成的影響不可

2、低估，政府應(yīng)該形成對(duì)網(wǎng)絡(luò)民意的監(jiān)測、反饋和吸納機(jī)制。因此網(wǎng)民在網(wǎng)絡(luò)上有意識(shí)或者無意識(shí)表達(dá)出來的民情民意，對(duì)社會(huì)熱點(diǎn)問題的關(guān)注表達(dá)出的價(jià)值取向和觀點(diǎn)越來越具有研究和參考價(jià)值。
　　 電子政府融合了現(xiàn)代政府管理理念與最新的信息技術(shù)，通過智能化的信息處理，采用人工智能、數(shù)據(jù)挖掘、管理決策等技術(shù)來實(shí)現(xiàn)輔助決策系統(tǒng)，對(duì)于提高效率、提高政府回應(yīng)與決策能力、提高決策的科學(xué)性和準(zhǔn)確性，實(shí)現(xiàn)開放型、服務(wù)型、責(zé)任型政府具有重要意義。文本聚類技術(shù)中常

3、采用的K-means 聚類算法在實(shí)踐中獲得了廣泛的應(yīng)用，它具有高效的計(jì)算性能，具有清晰的、全局的目標(biāo)函數(shù)，聚類過程簡單、高效、魯棒，適用于許多類型的數(shù)據(jù)。然而不同的應(yīng)用需求、不同類型的數(shù)據(jù)對(duì)K-means算法提出了不同的要求。
　　 如何從大型門戶網(wǎng)上熱點(diǎn)新聞評(píng)論信息中提取出可供決策參考的結(jié)果是需要研究的問題，能夠自動(dòng)對(duì)評(píng)論信息進(jìn)行聚類分析是解決這個(gè)問題的關(guān)鍵。本文選擇K-means 聚類算法，采用文本聚類技術(shù)，圍繞評(píng)論信息的聚

4、類問題做了一些探索性的工作，期望能夠從這些評(píng)論信息中得出有價(jià)值的觀點(diǎn)結(jié)果，有效提供給政府相關(guān)部門，用于在公共決策中吸納、監(jiān)測民意和輔助決策參考。在新聞評(píng)論聚類實(shí)現(xiàn)過程中，采用向量空間模型的文本表示方法，將最初的評(píng)論數(shù)據(jù)經(jīng)過中文分詞、特征提取、權(quán)重計(jì)算等處理，把評(píng)論文本數(shù)據(jù)轉(zhuǎn)化成可進(jìn)行聚類運(yùn)算的向量，再進(jìn)行聚類分析。并針對(duì)新聞評(píng)論數(shù)據(jù)的特點(diǎn)和K-means算法的主要缺點(diǎn)和不足，構(gòu)建了新聞評(píng)論專用停用詞表，對(duì)聚類算法實(shí)現(xiàn)中的關(guān)鍵環(huán)節(jié)特征項(xiàng)提