基于協(xié)同訓(xùn)練的半監(jiān)督短文本分類方法研究.pdf

1、隨著互聯(lián)網(wǎng)的迅猛發(fā)展，信息正在以指數(shù)形式飛速增長。通過互聯(lián)網(wǎng)人們可以輕而易舉地獲取大量的信息，從而對自己的行為起著非常重要的指引作用。短文本是互聯(lián)網(wǎng)中一種非常重要的信息載體，短文本中蘊含的信息早期是通過人工標(biāo)記的方式直接獲取，但是人工標(biāo)記的方式需要大量的專業(yè)技術(shù)人員參與，消耗了大量的人力物力，并且只能對少量的文本進行標(biāo)記，而互聯(lián)網(wǎng)上的文本數(shù)量非常龐大，因此人工標(biāo)記的方式不適合互聯(lián)網(wǎng)上大規(guī)模文本進行分類的需求。采用機器學(xué)習(xí)的方法對未標(biāo)注樣

2、本進行標(biāo)注，逐步成為互聯(lián)網(wǎng)上文本信息處理的一種趨勢，同時提高樣本標(biāo)記效率已經(jīng)成為當(dāng)前研究的熱點。與人工標(biāo)注的方法相比，使用機器學(xué)習(xí)技術(shù)對未標(biāo)注樣本的標(biāo)注，不僅準(zhǔn)確率高，而且算法非常穩(wěn)定。半監(jiān)督協(xié)同訓(xùn)練是方法目前機器學(xué)習(xí)中一種非常重要的文本分類方法。
　　本文主要對基于協(xié)同訓(xùn)練的半監(jiān)督短文本分類進行研究，主要包含以下幾個方面的內(nèi)容：
　　1．對短文本分類問題進行分析，給出了基于協(xié)同訓(xùn)練的半監(jiān)督短文本分類系統(tǒng)模型。短文本分類模型

3、可以分成三個功能模塊：預(yù)處理模塊、訓(xùn)練模塊和測試模塊。預(yù)處理模塊，主要是對非結(jié)構(gòu)化的短文本進行處理，通過對短文本去除格式標(biāo)記、分詞、去停用詞、特征提取、詞頻統(tǒng)計、文本向量化等一系列步驟得到結(jié)構(gòu)化的數(shù)據(jù)集。訓(xùn)練模塊，一方面是根據(jù)差異性原理構(gòu)造分類器，使用分類器對未標(biāo)注樣本進行標(biāo)注；另一方面使用訓(xùn)練樣本集對分類器進行協(xié)同訓(xùn)練，從而得到不斷優(yōu)化的分類器。測試模塊，使用測試樣本集對分類器進行測試，驗證協(xié)同訓(xùn)練方法的可行性和有效性。
　　2

4、．結(jié)合半監(jiān)督協(xié)同訓(xùn)練，給出了短文本分類方法，進一步改進了特征提取方法和協(xié)同訓(xùn)練方法。
　?。?）特征提取方法的改進。根據(jù)短文本中文字數(shù)量較少的特點，從詞語之間語義聯(lián)系的角度，來構(gòu)造短文本中詞語之間的鄰接矩陣，然后通過鄰接矩陣相似度的計算來構(gòu)造一個無向圖，再根據(jù)無向圖的鄰接度計算特征度，將特征度高的特征詞進行提取。這種特征提取方法相比于傳統(tǒng)方法兼顧了詞語之間語義的相似關(guān)系，有助于對短文本進行有效分類。
　?。?）協(xié)同訓(xùn)練算法改

5、進。為了對未標(biāo)注樣本進行標(biāo)注，通過多分類器“互助”方式訓(xùn)練分類器。在二分類問題中，對某個未標(biāo)注樣本進行標(biāo)注如果三個分類器的標(biāo)注結(jié)果相同，代表標(biāo)注結(jié)果有較高的置信度，把標(biāo)注樣本放入到已標(biāo)注樣本集中；如果標(biāo)注結(jié)果不同，那么必有兩個分類器的標(biāo)注結(jié)果相同，使用兩個分類器的標(biāo)注結(jié)果訓(xùn)練第三個分類器。在標(biāo)注過程中，反復(fù)訓(xùn)練分類器，最終獲得性能較好的分類器。
　　3．利用互聯(lián)網(wǎng)網(wǎng)站搜集到的短文本進行對比實驗，驗證了協(xié)同訓(xùn)練半監(jiān)督短文本分類方法的

6、有效性。通過選取新浪、搜狐和網(wǎng)易等各大網(wǎng)站搜集到的短文本帖子作為數(shù)據(jù)集，將本文改進后的方法與傳統(tǒng)的短文本分類方法進行對比實驗，通過評估指標(biāo)準(zhǔn)確率、召回率和F1值對本文分類方法進行評估，從而驗證本文方法的可行性和有效性。
　　因此，本文構(gòu)建了基于協(xié)同訓(xùn)練的半監(jiān)督短文本分類模型，給出了相應(yīng)的分類方法，同時對短文本特征提取方法和半監(jiān)督協(xié)同訓(xùn)練進行了改進，并將改進的方法與傳統(tǒng)的方法進行了對比實驗。實驗結(jié)果表明，本文給出的方法能有效提高短文