基于TrAdaBoost的直推式遷移學(xué)習(xí)文本分類技術(shù)改進研究.pdf

1、基于遷移學(xué)習(xí)的文本分類算法在目標(biāo)領(lǐng)域標(biāo)注數(shù)據(jù)不足以及訓(xùn)練集和測試集數(shù)據(jù)分布不一致的情況下，可得到準(zhǔn)確的分類器，符合大數(shù)據(jù)環(huán)境下缺少標(biāo)注樣本的現(xiàn)實，并節(jié)約人工標(biāo)注成本，因此成為當(dāng)前研究的熱點之一。
　　特征選擇方法和遷移學(xué)習(xí)文本分類算法是遷移學(xué)習(xí)文本分類技術(shù)需要改進的兩個重要環(huán)節(jié)，改進的目標(biāo)是在訓(xùn)練集和測試集數(shù)據(jù)分布不一致的情況下，構(gòu)建可靠的遷移學(xué)習(xí)文本分類器，使之分類效率優(yōu)于TrAdaBoost整合單一基分類器支持向量機的TrS算

2、法和整合單一基分類器樸素貝葉斯的TrN算法。特征選擇方法是文本預(yù)處理過程的核心，直接影響文本分類的精度和效率。融合類頻率的類文檔頻率特征選擇方法CDFDC對文檔頻率特征選擇方法進行改進。TrAdaBoost是常用的基于權(quán)重調(diào)整的遷移學(xué)習(xí)文本分類算法框架，帶文檔權(quán)重的樸素貝葉斯算法dwNB以及帶文檔權(quán)重的支持向量機算法dwSVM為實現(xiàn)融合dwNB、dwSVM、TrAdaBoost的TrSN算法奠定基礎(chǔ)。
　　CDFDC的對比實驗結(jié)果

3、說明，在20news group數(shù)據(jù)集上，當(dāng)訓(xùn)練集和測試集數(shù)據(jù)分布一致的情況下，使用樸素貝葉斯NB算法，在選取特征數(shù)量大于3000時，CDFDC分類效率優(yōu)于其他5種特征選擇方法，分類精度達到0.77，運行時間效率僅次于運行時間最短的卡方檢驗特征選擇方法CHI。TrSN的對比實驗結(jié)果說明，在使用20news group構(gòu)建的多元遷移學(xué)習(xí)文本分類問題上，在訓(xùn)練集和測試集數(shù)據(jù)分布相關(guān)但不同的情況下，TrSN分類時間效率（400到1036秒）明