2023年全國碩士研究生考試考研英語一試題真題(含答案詳解+作文范文)_第1頁
已閱讀1頁,還剩67頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)

文檔簡介

1、隨著人工智能技術(shù)的成熟,以機器學(xué)習(xí)技術(shù)為基礎(chǔ)的反垃圾短信技術(shù)開始流行,其中最主要的一類方法便是基于短信內(nèi)容的機器學(xué)習(xí)垃圾分類方法。垃圾短信的過濾問題本質(zhì)是一個二分類問題,對于基于內(nèi)容的統(tǒng)計學(xué)習(xí)垃圾短信過濾方法,采用文本分類技術(shù)將待分類短信樣本加載進訓(xùn)練好的分類模型來實現(xiàn)自動分類,這類方法在短信分類中計算速度較快且分類效果較好,同時避免了人為介入的規(guī)則設(shè)置,智能化的水平更高。
  本文首先針對 KNN算法在文本分類的決策規(guī)則上存在的

2、樣本權(quán)重相同的缺點,提出了基于文本加權(quán)的KNN文本分類算法,并應(yīng)用于垃圾短信的分類;在提取出特征詞之后,考慮到特征詞在文本中出現(xiàn)的頻率對文本重要性的影響,引入第一個加權(quán)公式,同時針對垃圾短信數(shù)據(jù)集,采用關(guān)聯(lián)規(guī)則算法挖掘出在垃圾短信中頻繁出現(xiàn)的共現(xiàn)詞組,并以此引入第二個加權(quán)公式,最后將引入的兩種文本權(quán)重計算公式對每個短信文本進行復(fù)合加權(quán)處理,以區(qū)分各個訓(xùn)練樣本對于判定隸屬類別的影響程度,從而在分類決策規(guī)則上作出改進,提升短信分類效果。

3、r>  其次,針對關(guān)聯(lián)規(guī)則在短文本分類特征擴展過程中存在的擴展特征類別偏向不統(tǒng)一而導(dǎo)致擴展特征質(zhì)量不高的缺點,設(shè)計了一種改進的特征擴展算法模型,1)首先提出一個類別頻繁因子(label frequency factor,LFF)概念,根據(jù)LFF值對不同類別的頻繁詞集挖掘采取不一樣的最小支持度閾值,使得每個類別的頻繁詞集得到充分挖掘;2)對于頻繁詞集中擴展特征的類別傾向性分析,通過人工設(shè)置閾值計算特征的類別傾向的方法人工干預(yù)過多,且閾值會

4、隨著數(shù)據(jù)集的改變而改變,本文融合X2檢驗算法對擴展特征進行二次篩選,以產(chǎn)生高質(zhì)量的特征擴展詞語集合并作為訓(xùn)練集和測試集擴展特征的背景知識庫,避免了人工設(shè)參,提高了程序和算法可控性。
  最后,考慮在傳統(tǒng)的文本分類表示模型中,典型的比如空間向量模型-TFIDF算法對于短信這種短文本內(nèi)容的分類,即便通過特征擴展,文本規(guī)模也很難與長文本相提并論,存在特征稀疏、信息量不夠的缺點。本文通過詞向量模型將短信文本的表示映射到N維向量空間中,使得

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論