大規(guī)模Web論壇采集技術(shù)研究.pdf

1、隨著網(wǎng)絡(luò)的普及和對(duì)人們?nèi)粘Ｉ钣绊懙牟粩嗌钊?，Web論壇富于交互性，即時(shí)性，開(kāi)放性的特點(diǎn)逐漸吸引了大批網(wǎng)絡(luò)用戶(hù)，而且還呈不斷增長(zhǎng)的趨勢(shì)，其內(nèi)容涵蓋的范圍已從早期的少量有限的主題擴(kuò)展到技術(shù)，商業(yè)，新聞，娛樂(lè)，體育等日常生活的方方面面，在組織形式上也不斷細(xì)化，具有相同興趣和關(guān)注范圍的人們能夠方便地在論壇提供的虛擬空間中聚集，以極高的效率實(shí)現(xiàn)交流的需要，而獲得特定的信息，具有很強(qiáng)的針對(duì)性和廣泛的網(wǎng)民基礎(chǔ)，在信息傳遞，輿論傳播，情感交流，娛樂(lè)休

2、閑等諸多領(lǐng)域都具有重大的影響力。這使得Web論壇已經(jīng)成為我們不能忽略的信息寶庫(kù)，對(duì)Web論壇的信息采集的緊迫性也就越來(lái)越強(qiáng)烈。然而，由于現(xiàn)有采集技術(shù)的制約，對(duì)Web論壇的信息獲取受到了很大的阻礙。 我們主要的工作包括： 1) 動(dòng)態(tài)網(wǎng)頁(yè)URL的分類(lèi)算法 2) Web論壇中的邏輯結(jié)構(gòu)發(fā)現(xiàn) 3) 主題索引頁(yè)面---主題相關(guān)判斷算法 4) 版面中的主題索引頁(yè)面自動(dòng)擴(kuò)展算法 5) 基于站點(diǎn)的非阻塞socket通用Web采集架構(gòu) 實(shí)驗(yàn)