基于SVM和K-means的微博話題分類方法研究.pdf

1、微博等應(yīng)用的快速發(fā)展產(chǎn)生了海量的微博文本，在對其進(jìn)行話題分類處理時(shí)，由于微博文本短、詞量少、用詞不規(guī)范和文本數(shù)量巨大等特征，使得傳統(tǒng)話題分類方法對類似微博這種文本的分類適用性變得很差。為減少話題分類過程中人工標(biāo)注的工作量，并保證話題分類的準(zhǔn)確性不降低，提出了一種基于SVM和K-means相結(jié)合的微博話題分類方法。
　　微博話題分類本質(zhì)上屬于文本分類的一種具體應(yīng)用。文本分類是屬于一個(gè)有監(jiān)督學(xué)習(xí)的過程，它需要對提前人工標(biāo)注過的訓(xùn)練集文

2、本進(jìn)行訓(xùn)練，人工標(biāo)注這個(gè)過程是一個(gè)繁瑣的過程，特別是對于類似微博這種內(nèi)容短、用詞隨意、數(shù)量大的文本，完成人工標(biāo)注的過程將更加地繁雜。文本聚類是屬于一個(gè)無監(jiān)督學(xué)習(xí)的過程，其沒有人工標(biāo)注這一步驟，但是利用它對文本進(jìn)行區(qū)分的效果往往不好。針對這些現(xiàn)象，利用兩者的優(yōu)點(diǎn)，彌補(bǔ)對方的不足，提出了一種基于SVM和K-means相結(jié)合的微博話題分類方法。首先用K-means聚類方法對微博文本進(jìn)行聚類，然后選取每個(gè)類簇中距離聚類質(zhì)心最近的一些微博文本作為

3、該類話題用來訓(xùn)練SVM的訓(xùn)練樣本集。最后用訓(xùn)練好的SVM分類器對微博文本進(jìn)行話題分類。將這兩方法結(jié)合起來，既可以彌補(bǔ)無監(jiān)督學(xué)習(xí)方法的聚類在文本區(qū)分效果上的低效性，又減輕了有監(jiān)督學(xué)習(xí)方法的分類在文本分類時(shí)需要對訓(xùn)練樣本人工標(biāo)注的繁雜性。
　　實(shí)驗(yàn)通過對同一微博數(shù)據(jù)分別進(jìn)行K-means微博話題分類、SVM微博話題分類、SVM和K-means相結(jié)合的微博話題分類，分類的效果比較表明：SVM和K-means相結(jié)合的微博話題分類方法在實(shí)現(xiàn)