主題網(wǎng)站的自動(dòng)發(fā)現(xiàn)與判定方法研究.pdf

1、眾所周知，互聯(lián)網(wǎng)現(xiàn)已成為目前最大的信息資源平臺(tái)，它已經(jīng)成為信息工作人員搜集公開信息的一個(gè)重要途徑。不同領(lǐng)域的信息工作者所關(guān)注的主題不同，他們需要每日固定跟蹤一些主題網(wǎng)站來獲取有效信息，主題網(wǎng)站就是指主題比較明確集中的網(wǎng)站。但是網(wǎng)絡(luò)世界變化快，網(wǎng)絡(luò)中每天都可能有新的網(wǎng)站建立起來，或者信息工作者以前沒有發(fā)現(xiàn)的網(wǎng)站，如果他們不去發(fā)現(xiàn)這些與自身研究主題相關(guān)的新網(wǎng)站的話，可能會(huì)造成錯(cuò)失重要情報(bào)的后果。因此信息工作者不能局限于固定跟蹤的幾個(gè)網(wǎng)站，他

2、們需要不斷發(fā)現(xiàn)新主題網(wǎng)站信息源并對(duì)其進(jìn)行跟蹤。如何才能發(fā)現(xiàn)新的主題網(wǎng)站，如果僅靠人工發(fā)現(xiàn)的話，由于互聯(lián)網(wǎng)的海量信息，人工搜索的工作量大且效率不高。因此我們提出交給計(jì)算機(jī)來自動(dòng)幫助我們發(fā)現(xiàn)這些相關(guān)主題網(wǎng)站。
　　本文在研究一系列相關(guān)理論包括關(guān)鍵詞提取理論、信息采集理論以及相似度計(jì)算理論的基礎(chǔ)上，改進(jìn)了關(guān)鍵詞提取算法，提出了網(wǎng)站主題描述模型以及網(wǎng)站相似度計(jì)算，并且設(shè)計(jì)了一套計(jì)算機(jī)自動(dòng)發(fā)現(xiàn)主題網(wǎng)站的解決方案：從用戶已經(jīng)關(guān)注的網(wǎng)站稱為“樣

3、本網(wǎng)站”出發(fā)，從樣本網(wǎng)站中提取出主題信息，設(shè)計(jì)主題描述模型來量化描述這些主題信息，利用主題描述模型的關(guān)鍵詞組合進(jìn)行網(wǎng)頁信息的搜索，從搜索到大量網(wǎng)頁中提取主題相關(guān)的網(wǎng)站，并且與樣本網(wǎng)站進(jìn)行相似度計(jì)算，將相似度高的網(wǎng)站判定為主題相關(guān)網(wǎng)站，推薦給用戶選擇是否作為關(guān)注網(wǎng)站，從而實(shí)現(xiàn)主題網(wǎng)站的自動(dòng)發(fā)現(xiàn)以及判定。
　　最后本文針對(duì)這套方案的關(guān)鍵部分進(jìn)行了實(shí)驗(yàn)：關(guān)鍵詞提取實(shí)驗(yàn)證明改進(jìn)的TF-IDF算法在關(guān)鍵詞提取方面優(yōu)于傳統(tǒng)算法；主題網(wǎng)站發(fā)現(xiàn)效