面向中文博客的信息采集與傾向性檢索.pdf

1、隨著互聯(lián)網(wǎng)信息技術(shù)的發(fā)展,網(wǎng)絡(luò)媒體的地位也在不斷地上升,其影響已經(jīng)滲入到政治、經(jīng)濟、生活的很多方面,尤其是輿情方面。由于輿情信息在互聯(lián)網(wǎng)上能夠更快速的產(chǎn)生和傳播,因此網(wǎng)絡(luò)輿情受到了更大的關(guān)注,如何有效地獲得和分析網(wǎng)絡(luò)輿情信息也成為研究的熱點。網(wǎng)絡(luò)內(nèi)容安全主要研究基于網(wǎng)絡(luò)內(nèi)容的安全性問題,是網(wǎng)絡(luò)輿情研究領(lǐng)域的一個重要組成部分;它涉及到針對網(wǎng)絡(luò)文本內(nèi)容的獲取、分類、聚類、話題發(fā)現(xiàn)與跟蹤等關(guān)鍵技術(shù)。其中,聚類是實現(xiàn)網(wǎng)絡(luò)內(nèi)容安全的一個主要手段。

2、網(wǎng)絡(luò)輿情研究領(lǐng)域所處理的信息來源有新聞網(wǎng)頁、論壇、博客等幾大領(lǐng)域,涉及到的文本形式已經(jīng)有別傳統(tǒng)的長文本內(nèi)容,可以稱之為中文網(wǎng)絡(luò)短文本。然而,中文網(wǎng)絡(luò)短文本固有的關(guān)鍵詞詞頻低、存在大量變形詞等特點,使得難以直接使用現(xiàn)有面向長文本的聚類算法,為此,本文提出了一種面向中文網(wǎng)絡(luò)短文本的基于免疫網(wǎng)絡(luò)調(diào)節(jié)的聚類算法。首先是利用抽取的中文詞語的n-gram片段的拼音序列來組成一個中文網(wǎng)絡(luò)短文本的特征表示,從而緩解關(guān)鍵詞詞頻過低和存在變形詞對聚類的影響

3、;然后,將網(wǎng)絡(luò)短文本集構(gòu)建為一個動態(tài)網(wǎng)絡(luò),利用免疫網(wǎng)絡(luò)學(xué)習機制來自動發(fā)現(xiàn)網(wǎng)絡(luò)短文本之間的內(nèi)在關(guān)聯(lián),獲得合適的聚類結(jié)果。博客作為一種十分重要的網(wǎng)絡(luò)輿情信息源,也已經(jīng)成為一個研究熱點。首先,博客是一個更新頻繁的數(shù)據(jù)源,在對博客進行研究時,如何有效地采集實時的博客數(shù)據(jù)信息是其它研究的前提。本文研究了面向博客信息的實時信息采集技術(shù),采用基于博客Feed輸出的采集方法,實現(xiàn)了一個高效的博客采集器。并使用了該采集系統(tǒng)采集了一個較大規(guī)模的中文博客數(shù)據(jù)

4、集合。該數(shù)據(jù)集可以用于中文博客領(lǐng)域的研究使用。博客空間的數(shù)據(jù)大多是個人意見、看法的表達,具有較強的主觀傾向性。因此博客空間蘊含著巨大的輿情信息,對博客的傾向性分析研究能夠幫助我們更好地研究網(wǎng)絡(luò)輿情問題。本文在這樣的背景下研究了中文博客的傾向性檢索問題,充分分析了博客數(shù)據(jù)有別于其它網(wǎng)絡(luò)信息源的特征,提出了多策略評分的方法,包括內(nèi)容相關(guān)性評分、傾向性評分、時間特征評分和評論數(shù)特征評分,并把中文網(wǎng)絡(luò)短文本聚類引入其中,添加了基于免疫的聚類評分