帶噪聲的文本聚類及其在反垃圾郵件中的應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，文本數(shù)據(jù)呈指數(shù)級(jí)增長(zhǎng)。為了獲得數(shù)據(jù)之間的內(nèi)在關(guān)系及隱含信息，文本挖掘技術(shù)應(yīng)運(yùn)而生。聚類分析作為數(shù)據(jù)挖掘的一個(gè)重要功能，在文本挖掘中有著非常重要的作用，本文將討論帶有干擾信息的文本聚類方法。
　　 傳統(tǒng)的文本挖掘方法首先將文本表示成向量空間模型；然后用TFIDF權(quán)重將文檔轉(zhuǎn)化為向量形式，最后在向量空間模型中計(jì)算文本相似度。在傳統(tǒng)的向量空間模型中，由于沒(méi)有考慮詞之間存在的概念相似情況，因此影響了數(shù)據(jù)聚類的準(zhǔn)

2、確性。因而針對(duì)中文提出了一種基于知網(wǎng)模型和語(yǔ)義內(nèi)積的相似度計(jì)算方法。
　　 然而，這一方法卻并不適用于垃圾郵件的聚類問(wèn)題。原因是垃圾郵件發(fā)送者經(jīng)在郵件編輯完成后，用類似于查找替換的辦法，把文本中規(guī)范的敏感關(guān)鍵詞替換為另一個(gè)用插入符號(hào)、改動(dòng)次序甚至用拼音替代等方法混淆過(guò)的、但能被讀者理解的詞語(yǔ)，以逃脫郵件處理程序的過(guò)濾。如果利用傳統(tǒng)的方法則會(huì)采取一系列預(yù)處理措施，將會(huì)過(guò)濾掉干擾信息，這樣會(huì)使垃圾郵件的相似度計(jì)算準(zhǔn)確度較低，最終導(dǎo)致

3、聚類質(zhì)量效果較差。
　　 針對(duì)垃圾郵件含有較多干擾信息而導(dǎo)致相似性度量較差這一問(wèn)題，本文采用非度量的方法，將Needleman－Wunsch算法應(yīng)用到文本相似度計(jì)算中。最后，利用該相似度計(jì)算方法，提出一種基于Needleman-Wunsch的聚類算法，最終完成文本聚類。
　　 與基于向量空間模型相比，采用Needleman－Wunsch算法計(jì)算文本相似度時(shí)，避免了分詞過(guò)程，減少語(yǔ)義損失，保留了所有的文本信息，保證了聚類質(zhì)