基于NUTCH的中文新聞事件自動(dòng)分類系統(tǒng)研究.pdf

1、伴隨著互聯(lián)網(wǎng)的蓬勃發(fā)展，從異構(gòu)的、有噪聲的海量數(shù)據(jù)中獲取所需要的分類內(nèi)容，評(píng)判互聯(lián)網(wǎng)熱點(diǎn)事件，關(guān)注最新的熱點(diǎn)事件的動(dòng)態(tài)，不斷成為搜索引擎、各類門(mén)戶及SNS社區(qū)吸引用戶、制定營(yíng)銷方案等所需要首先解決的問(wèn)題。誰(shuí)掌握了確切的信息，誰(shuí)就先一步掌握了事件發(fā)展的方向，在制定營(yíng)銷方案時(shí)就會(huì)把握時(shí)代、用戶趨勢(shì)，在競(jìng)爭(zhēng)中處于領(lǐng)先的地位。本文正是針對(duì)上述需求所撰寫(xiě)的，力圖解決分類內(nèi)容獲取、熱點(diǎn)事件判定及熱點(diǎn)事件獲取等幾個(gè)方面的問(wèn)題。由于本文所論述的內(nèi)容是基

2、于準(zhǔn)實(shí)時(shí)互聯(lián)網(wǎng)信息的，所以本文在論述時(shí)還會(huì)解決互聯(lián)網(wǎng)信息噪聲的問(wèn)題。
　　 本文基于NUTCH的中文新聞事件自動(dòng)分類系統(tǒng)研究，主要分為三個(gè)部分：⑴背景現(xiàn)狀分析。重點(diǎn)介紹當(dāng)前有關(guān)中文文本自動(dòng)分類的分類方法、熱點(diǎn)事件的理論分析現(xiàn)狀及系統(tǒng)支撐技術(shù)。⑵理論闡述及相關(guān)特征分析。首先簡(jiǎn)單而創(chuàng)新的使用了基于源代碼標(biāo)簽規(guī)則的網(wǎng)頁(yè)噪音去除算法清洗和過(guò)濾了互聯(lián)網(wǎng)上的網(wǎng)頁(yè)得到網(wǎng)頁(yè)的文本內(nèi)容，并進(jìn)一步論述了相關(guān)的中文分詞、KNN分類理論、極度相關(guān)新聞事

3、件文檔的判定等鋪墊性內(nèi)容。通過(guò)構(gòu)建新聞事件歷史語(yǔ)料庫(kù)，對(duì)歷史語(yǔ)料庫(kù)進(jìn)行分析獲得事件的相應(yīng)特征：主要有時(shí)間發(fā)展特征及詞特征，并綜合使用分詞技術(shù)、分類理論等建立了評(píng)價(jià)熱點(diǎn)事件的核心指標(biāo)，根據(jù)核心指標(biāo)建立了一套分析、判定、獲取熱點(diǎn)事件的流程框架。從而構(gòu)建出了分類及熱點(diǎn)事件獲取的兩大核心體系。⑶系統(tǒng)設(shè)計(jì)、實(shí)施及實(shí)驗(yàn)評(píng)價(jià)。這一部分集中在第四、五章，重點(diǎn)論述了本文原型系統(tǒng)的架構(gòu)及系統(tǒng)核心模塊類的設(shè)計(jì)，主要論述了系統(tǒng)中使用的各種開(kāi)源框架及技術(shù)，分析了