基于文本分類的播存網(wǎng)絡(luò)信源組織技術(shù)研究.pdf

1、隨著網(wǎng)民和網(wǎng)頁(yè)數(shù)量的急劇增加，互聯(lián)網(wǎng)出現(xiàn)了“帶寬瓶頸”和“信息垃圾”等問(wèn)題。播存網(wǎng)絡(luò)通過(guò)鏡像并廣播互聯(lián)網(wǎng)上特定的主流資源或高熱度信息資源，實(shí)現(xiàn)無(wú)沖突的信息共享。論文針對(duì)播存網(wǎng)絡(luò)源端海量網(wǎng)頁(yè)信息的組織開展了具體理論和實(shí)驗(yàn)研究。 論文首先分析了網(wǎng)頁(yè)信息組織相關(guān)技術(shù)，主要研究了網(wǎng)頁(yè)元數(shù)據(jù)規(guī)范、自動(dòng)標(biāo)引技術(shù)及文本分類技術(shù)。 其次，論文研究了基于樸素貝葉斯的文本分類算法，提出基于權(quán)重的貝葉斯算法，該算法采用權(quán)重計(jì)算特征詞的先驗(yàn)概率

2、。同時(shí)，提出基于貝葉斯的多分類器組合算法，該算法利用特征詞構(gòu)造多分類器組，降低特征詞不獨(dú)立給算法帶來(lái)的影響?；谝陨蟽煞N算法，設(shè)計(jì)和實(shí)現(xiàn)了中文文本分類系統(tǒng)，將該分類系統(tǒng)在搜狗及構(gòu)建的新華網(wǎng)語(yǔ)料庫(kù)上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明兩種改進(jìn)算法都較好提升了分類的效果，為進(jìn)一步信源組織系統(tǒng)的實(shí)現(xiàn)奠定了基礎(chǔ)。 最后，論文根據(jù)播存網(wǎng)絡(luò)源端的需要，基于改進(jìn)的文本分類算法，設(shè)計(jì)并實(shí)現(xiàn)了播存網(wǎng)絡(luò)信源組織原型系統(tǒng)。該系統(tǒng)基于RSS或用戶訪問(wèn)日志獲得網(wǎng)址；提