基于爬蟲的網(wǎng)絡(luò)文本挖掘研究與應(yīng)用.pdf

1、隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的快速發(fā)展，互聯(lián)網(wǎng)所生產(chǎn)的數(shù)據(jù)正以前所未有的速度增長，信息社會(huì)步入了大數(shù)據(jù)時(shí)代。這些數(shù)據(jù)具有大量性、高速性、多樣性、復(fù)雜性和價(jià)值性等典型特點(diǎn)。然而，大部分?jǐn)?shù)據(jù)以文本等非結(jié)構(gòu)化、異構(gòu)的數(shù)據(jù)形式存在于互聯(lián)網(wǎng)中，并且不易被獲取和分析。這些數(shù)據(jù)中往往蘊(yùn)含著巨大的信息和知識(shí)。因此，研究如何借助于計(jì)算機(jī)相關(guān)技術(shù)獲取、挖掘其內(nèi)在規(guī)律和價(jià)值具有重大意義。
　　基于爬蟲的網(wǎng)絡(luò)文本挖掘是指通過編寫網(wǎng)絡(luò)爬蟲程序抓取某些指定網(wǎng)站的文本數(shù)

2、據(jù)，利用模式識(shí)別、數(shù)據(jù)挖掘、統(tǒng)計(jì)學(xué)習(xí)等技術(shù)分析出隱含的、深層的、有價(jià)值的信息。本文圍繞上述問題，主要包括以下四方面研究內(nèi)容：
　　(1)通過編寫爬蟲來獲取網(wǎng)絡(luò)文本數(shù)據(jù)。由于網(wǎng)絡(luò)文本數(shù)據(jù)嵌入HTML網(wǎng)頁中，很難通過人工進(jìn)行獲取。因此本文提出通過編寫網(wǎng)絡(luò)爬蟲程序自動(dòng)的獲取所需的文本分析源。文中介紹了網(wǎng)絡(luò)爬蟲抓取網(wǎng)頁的基本原理，并詳細(xì)說明了HTML網(wǎng)頁內(nèi)容解析方法。
　　(2)本文結(jié)合傳統(tǒng)的文本挖掘技術(shù)，提出了一套完備的基于開源爬

3、蟲框架的網(wǎng)絡(luò)文本挖掘方案。詳細(xì)敘述了網(wǎng)絡(luò)文本的獲取、清洗、預(yù)處理、分析、結(jié)果可視化的一般性步驟和流程，并介紹了文本分類與聚類、文本情感分析等常用的文本挖掘算法。
　　(3)由于短文本的特征稀疏性，隱含較少的語義信息，使得短文本的分類研究面臨著巨大的挑戰(zhàn)。針對短文本分類的這兩個(gè)問題提出了一個(gè)基于隱含狄利克雷主題模型和最近鄰的短文本分類算法。實(shí)驗(yàn)表明該方法使得短文本分類效果比KNN和SVM算法得到了很大的提升。
　　(4)本文創(chuàng)