網(wǎng)上專家經(jīng)濟(jì)觀點(diǎn)自動(dòng)挖掘研究.pdf

1、前互聯(lián)網(wǎng)時(shí)代，數(shù)據(jù)的獲取受制于時(shí)間、空間等因素的影響，由于當(dāng)時(shí)網(wǎng)絡(luò)不發(fā)達(dá)，數(shù)據(jù)獲取的難度大、速度慢、來源少，導(dǎo)致人們對(duì)于數(shù)據(jù)的獲取感到非常困難。并且在數(shù)據(jù)處理上，所能處理的數(shù)據(jù)類型大多是結(jié)構(gòu)化數(shù)據(jù)，對(duì)于非結(jié)構(gòu)化數(shù)據(jù)還未能從容應(yīng)對(duì)?，F(xiàn)在，隨著互聯(lián)網(wǎng)的快速發(fā)展，信息獲取的廣度增加、速度加快，其也不再受制于時(shí)間和空間，再加上非結(jié)構(gòu)化數(shù)據(jù)占比越來越多，傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)等早已不能滿足人們的分析需要。這時(shí)，數(shù)據(jù)的獲取開始受限于信息的整合。因?yàn)槊鎸?duì)現(xiàn)

2、如今海量的數(shù)據(jù)，尤其是諸如文本、聲音、圖像等非結(jié)構(gòu)化數(shù)據(jù)，如何將其中有用的信息進(jìn)行整合，已經(jīng)成為了一個(gè)重要的問題。目前，信息整合大多依賴于人力，那么如何實(shí)現(xiàn)自動(dòng)化信息整合就成為了一項(xiàng)挑戰(zhàn)。
　　本文研究的目的是以經(jīng)濟(jì)形勢(shì)數(shù)據(jù)為例，通過python urllib爬蟲技術(shù)實(shí)現(xiàn)數(shù)據(jù)的獲??；利用專家觀點(diǎn)篩選公式實(shí)現(xiàn)數(shù)據(jù)的篩選；使用描述統(tǒng)計(jì)相關(guān)方法實(shí)現(xiàn)數(shù)據(jù)的整體把握；運(yùn)用自然語言處理技術(shù)實(shí)現(xiàn)文本數(shù)據(jù)的處理；結(jié)合空間向量模型實(shí)現(xiàn)文本的聚類；自