基于OODA決策循環(huán)的主題發(fā)現(xiàn)技術(shù)的研究與設(shè)計(jì).pdf

1、本文針對日益嚴(yán)峻的“信息爆炸、數(shù)據(jù)泛濫、知識(shí)貧乏”的窘境,提出了一種基于OODA決策循環(huán)的主題發(fā)現(xiàn)。主題發(fā)現(xiàn)是從海量的數(shù)據(jù)中快速,有效的獲取有價(jià)值的信息,了解數(shù)據(jù)集內(nèi)容的一系列技術(shù)方法的總稱。主題發(fā)現(xiàn)分為廣義和狹義之分,廣義的主題發(fā)現(xiàn)針對各種常見數(shù)據(jù)集(文本,圖像,音頻,視頻等),狹義的主題發(fā)現(xiàn)僅針對文本數(shù)據(jù)。我們通常所說的主題發(fā)現(xiàn)是狹義的主題發(fā)現(xiàn)。本文將類似人類思考模式的OODA引入,作為主題發(fā)現(xiàn)的框架,充分借鑒智能數(shù)據(jù)挖掘、文本挖掘

2、,數(shù)據(jù)融合,知識(shí)發(fā)現(xiàn)等技術(shù)方法和相關(guān)的思想,融合多個(gè)學(xué)科,多角度的對主題發(fā)現(xiàn)進(jìn)行研究和分析?；贠ODA的主題發(fā)現(xiàn)可以使人們能夠從大量繁雜的信息中快速有效的提取主題,獲取必要的知識(shí),供人們分析決策。其相關(guān)的技術(shù)、方法、模型和思路可以應(yīng)用到信息檢索,文本分類和聚類,輿情監(jiān)控,文獻(xiàn)檢索,主動(dòng)信息推送等應(yīng)用領(lǐng)域。
　　 目前,主題發(fā)現(xiàn)缺乏通用完善的主題發(fā)現(xiàn)框架;主題發(fā)現(xiàn)中模式的識(shí)別,特征項(xiàng)的提取,相似度的計(jì)算等模塊都需要研究加強(qiáng)改進(jìn)的

3、算法,提高性能;主題發(fā)現(xiàn)中領(lǐng)域的適應(yīng)性不夠,缺乏專門領(lǐng)域的主題發(fā)現(xiàn),以適應(yīng)不同的用戶和環(huán)境需求;主題發(fā)現(xiàn)的過程和結(jié)果缺乏可視化的展示以及與用戶的交互,需要尋找或研究將可視化的發(fā)現(xiàn)過程與結(jié)果直觀展示,便于用戶理解,評價(jià),交互,改進(jìn)的方法和工具。
　　 本文除了將OODA作為主題發(fā)現(xiàn)的技術(shù)框架加以研究探索外,還改進(jìn)了TF*IDF算法計(jì)算特征項(xiàng)的權(quán)重和去除停用詞;利用關(guān)聯(lián)規(guī)則挖掘解決復(fù)合詞的識(shí)別問題;利用關(guān)聯(lián)規(guī)則與改進(jìn)的TF*IDF算

4、法相結(jié)合構(gòu)建領(lǐng)域詞庫,增強(qiáng)領(lǐng)域適應(yīng)性,加快主題詞提取的效率和準(zhǔn)確度。對詞語,句子,文本等進(jìn)行基于關(guān)鍵詞的關(guān)聯(lián)規(guī)則挖掘的關(guān)聯(lián)分析,相似度計(jì)算,并將關(guān)聯(lián)分析和改進(jìn)的K-means算法進(jìn)行主題聚類研究;利用可視化的開發(fā)工具NetBeans,驗(yàn)證實(shí)現(xiàn)主題發(fā)現(xiàn)的相關(guān)技術(shù)方法,將該主題發(fā)現(xiàn)的過程加以可視化的展示,便于進(jìn)行直觀的理解、分析,便于與用戶交互,從而更好的調(diào)試改進(jìn)。使用某大學(xué)長年積累的BBS數(shù)據(jù)對基于OODA的主題發(fā)現(xiàn)框架加以驗(yàn)證,發(fā)現(xiàn)論壇