熱點事件發(fā)現(xiàn)及事件內(nèi)容特征自動抽取研究.pdf

1、隨著互聯(lián)網(wǎng)這一新媒體的出現(xiàn)，我們擺脫了信息貧乏的桎梏，進入了一個信息極度豐富的時代。但是在目前信息爆炸的情況下，網(wǎng)絡(luò)信息呈現(xiàn)出以下兩個顯著特點：（1）規(guī)模急劇膨脹；（2）結(jié)構(gòu)凌亂無序。這些使得發(fā)現(xiàn)和管理所需的信息變得越來越困難，因此一種能快速從網(wǎng)絡(luò)上獲取所需信息的工具，成為了人們的迫切需求。 目前，搜索引擎能在一定程度上滿足人們對于信息快速獲取的需求，但其一般采用關(guān)鍵字匹配來查找信息，這種方法返回的信息冗余度很高，只要信息中含有

2、指定的關(guān)鍵詞就被作為結(jié)果返回了，因此必定導(dǎo)致結(jié)果中包含有很多不相關(guān)的信息。并且，它對結(jié)果中的信息只是簡單羅列，而沒有進行有效的組織，人們對某些新聞事件難以做到全面把握。另外，每年一些權(quán)威的網(wǎng)絡(luò)媒體機構(gòu)也會發(fā)布當(dāng)年某些領(lǐng)域的熱點事件排行榜，但其通常都是由人工投票篩選得到的，其結(jié)果的客觀性和實時性都有很大的局限。 本文設(shè)計了一個熱點事件發(fā)現(xiàn)及表示模型，并實現(xiàn)了實驗系統(tǒng)，試圖在一定程度上去緩解這些問題。該系統(tǒng)面向互聯(lián)網(wǎng)新聞報道流，自動

3、去發(fā)現(xiàn)用戶選擇的任意一段時間內(nèi)網(wǎng)絡(luò)上的熱點事件，并抽取熱點事件的內(nèi)容特征，從不同層面將事件的信息全面呈現(xiàn)給用戶.因此，本文從以下幾個方面展開了相關(guān)研究： 第一，設(shè)計了一種基于兩層聚類的事件發(fā)現(xiàn)算法。由于系統(tǒng)處理的是大規(guī)模的網(wǎng)絡(luò)數(shù)據(jù)流，為了降低系統(tǒng)的復(fù)雜度，提高事件發(fā)現(xiàn)的實時性和精確性，系統(tǒng)對每天的語料作第一層聚類，得到微類，然后選取用戶選定的任意一段時間內(nèi)所有天的微類，按照微類間的時間順序，對微類做第二層聚類，得到事件列表。

4、 第二，歸納了事件熱度的計算公式。通過對歷年熱點事件特征的分析，提取出能度量事件熱度的特征量，組合這些特征量構(gòu)建了一個事件熱度計算公式。對新事件列表中的事件進行熱度的計算后排序，并通過事件發(fā)展曲線圖過濾掉不滿足熱點事件發(fā)展特性的事件。 第三，研究了從不同層面自動抽取熱點事件內(nèi)容特征的計算方法。從事件標(biāo)題、事件摘要、事件相關(guān)詞群、事件相關(guān)文檔以及事件發(fā)展曲線圖五個方面，將熱點事件的信息全面呈現(xiàn)給用戶。 最后，選取200