科技文獻(xiàn)中的主題發(fā)現(xiàn)與趨勢預(yù)測.pdf

1、在當(dāng)今時(shí)代,隨著科學(xué)領(lǐng)域技術(shù)迅速發(fā)展,科技文獻(xiàn)的數(shù)量也在以驚人的速度增長,從而出現(xiàn)了各種數(shù)字圖書館、文獻(xiàn)數(shù)據(jù)庫。而當(dāng)用戶面對著如此巨量的異構(gòu)的信息時(shí),他們往往難以做到對信息全面的了解和準(zhǔn)確的定位。為了解決這個(gè)問題,本文在文獻(xiàn)數(shù)據(jù)集內(nèi)進(jìn)行了主題發(fā)現(xiàn)和主題趨勢預(yù)測的研究,具體的研究內(nèi)容如下:
　　首先,本文通過構(gòu)建爬蟲程序收集了NLP領(lǐng)域內(nèi)的重要會(huì)議和期刊的文獻(xiàn)集,并通過PDFBox工具包抽取出文獻(xiàn)的標(biāo)題、摘要和時(shí)間信息來構(gòu)建科技文獻(xiàn)

2、數(shù)據(jù)集。
　　接著,本文使用了基于極大頻繁項(xiàng)集挖掘的方法對文獻(xiàn)數(shù)據(jù)集中的主題信息進(jìn)行挖掘,發(fā)現(xiàn)使用該方法挖掘出的主題信息包含著難以剔除的無用信息。為了解決這個(gè)問題,本文使用了基于LDA模型的方法進(jìn)行主題信息的挖掘?；贚DA模型發(fā)現(xiàn)的主題信息是詞的概率分布,這些概率信息可以衡量每個(gè)詞匯代表主題的權(quán)重,所以可以根據(jù)權(quán)重對結(jié)果中的無用信息進(jìn)行剔除。但是,使用LDA模型卻無法充分挖掘文獻(xiàn)數(shù)據(jù)集中的主題信息,因此本文介紹并使用了一種基于結(jié)

3、合了受控詞表的LDA模型進(jìn)行主題發(fā)現(xiàn)的方法,使得基于LDA模型的方法無法充分挖掘文獻(xiàn)數(shù)據(jù)集中主題信息的困難得到解決。
　　然后,本文假設(shè)用戶對主題的檢索數(shù)據(jù),在一定程度上了反映了當(dāng)前科學(xué)領(lǐng)域內(nèi)各個(gè)研究主題的發(fā)展情況。所以在該部分,本文在已建立的趨勢預(yù)測模型中融入用戶檢索量的時(shí)間分布信息對主題的趨勢進(jìn)行預(yù)測。接著,本文對主題研究趨勢預(yù)測開展了進(jìn)一步的研究。通過進(jìn)一步的研究發(fā)現(xiàn)直接使用絕對用戶檢索量信息存在著弊端,因此本文將用戶相對檢