網(wǎng)絡(luò)文本信息聚類算法研究與應(yīng)用.pdf

1、隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)在全球范圍內(nèi)的迅速發(fā)展與普及，網(wǎng)絡(luò)信息資源日趨豐富且內(nèi)容復(fù)雜多樣，其中既有大量進(jìn)步、健康的信息，也不乏反動(dòng)、迷信的內(nèi)容。因此，如何對(duì)這樣龐大的信息資源進(jìn)行快速有效的檢索分析，對(duì)網(wǎng)絡(luò)輿論進(jìn)行準(zhǔn)確的預(yù)測(cè)引導(dǎo)成為一個(gè)重要而迫切的研究課題。 于是，數(shù)據(jù)挖掘這門(mén)技術(shù)應(yīng)運(yùn)而生，它以數(shù)據(jù)庫(kù)技術(shù)為基礎(chǔ)，融合統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)、模糊學(xué)等多門(mén)學(xué)科的成果，研究如何從數(shù)據(jù)庫(kù)中提取隱含的、未知的有潛在應(yīng)用價(jià)值的信息或模式。聚類分析在這項(xiàng)技

2、術(shù)中占有重要的位置，它通過(guò)比較數(shù)據(jù)的相似性和差異性將一個(gè)數(shù)據(jù)集合分割成幾個(gè)稱為類的子集，從而發(fā)現(xiàn)數(shù)據(jù)信息的內(nèi)在特征和分布規(guī)律。 本論文在系統(tǒng)回顧網(wǎng)絡(luò)信息檢索、數(shù)據(jù)挖掘和聚類算法應(yīng)用研究現(xiàn)狀的基礎(chǔ)上，總結(jié)了目前通用的聚類算法存在的問(wèn)題，試圖設(shè)計(jì)一種適用于中文網(wǎng)絡(luò)文本信息的聚類算法，并進(jìn)而設(shè)計(jì)實(shí)現(xiàn)一個(gè)網(wǎng)絡(luò)信息聚類系統(tǒng)。 本論文的研究?jī)?nèi)容和創(chuàng)新工作主要體現(xiàn)在以下幾點(diǎn)： （1）分析了幾種通用的聚類算法，包括基于劃分、基于

3、層次、基于密度、基于網(wǎng)格和基于模型聚類算法，通過(guò)實(shí)驗(yàn)數(shù)據(jù)分析比較了幾種算法的性能和優(yōu)缺點(diǎn)，分析了它們?cè)诰W(wǎng)絡(luò)信息聚類應(yīng)用中的缺陷。 （2）研究了中文網(wǎng)絡(luò)信息聚類應(yīng)用中的幾種關(guān)鍵技術(shù)，包括分詞技術(shù)、文本表示、特征降維、權(quán)重分析和相似度計(jì)算。 （3）引入二叉檢索樹(shù)對(duì)后綴樹(shù)聚類算法在中文網(wǎng)絡(luò)信息聚類中的應(yīng)用進(jìn)行了研究和改進(jìn)。 （4）對(duì)典型的k-平均算法、后綴樹(shù)聚類算法和改進(jìn)后的算法進(jìn)行實(shí)驗(yàn)分析，在算法準(zhǔn)確率和時(shí)間復(fù)雜度上