基于特征抽取的企業(yè)文本數(shù)據(jù)索引系統(tǒng)的研究和實(shí)現(xiàn).pdf

1、互聯(lián)網(wǎng)正在慢慢地成為人類信息的主要載體和交流平臺(tái)，成為各種信息最大的收藏地。大數(shù)據(jù)時(shí)代逐步來(lái)臨，其中80％的信息數(shù)據(jù)是以文本的形式存儲(chǔ)在網(wǎng)絡(luò)上的，因此海量企業(yè)文本數(shù)據(jù)的信息挖掘?qū)ζ髽I(yè)和用戶而言已經(jīng)變得越來(lái)越重要了。
　　目前針對(duì)文本的信息挖掘是國(guó)內(nèi)外研究的熱點(diǎn)，然而針對(duì)企業(yè)文本的信息挖掘研究卻很少，在對(duì)于企業(yè)文本進(jìn)行處理時(shí)存在如下問(wèn)題：
　　1）對(duì)于某類別的企業(yè)文本分詞后，若用所有詞代表這類文本，則存在數(shù)據(jù)維度過(guò)大的問(wèn)題；<

2、br>　　2）運(yùn)用通用的搜索引擎來(lái)搜索企業(yè)產(chǎn)品的信息時(shí)，存在搜索內(nèi)容廣、信息過(guò)濾程度低的問(wèn)題。
　　為了方便地讓用戶獲取企業(yè)的文本信息，本文針對(duì)上述兩個(gè)問(wèn)題開(kāi)展研究并提出了解決方案：針對(duì)分詞后企業(yè)文本數(shù)據(jù)維度過(guò)大的問(wèn)題，本文在對(duì)企業(yè)文本特點(diǎn)總結(jié)的基礎(chǔ)上，提出了將基于規(guī)則、基于統(tǒng)計(jì)以及文本詞性標(biāo)注方法相結(jié)合的企業(yè)文本特征抽取方法，該方法對(duì)于企業(yè)文本進(jìn)行分詞以及詞性標(biāo)注，運(yùn)用規(guī)則生產(chǎn)觸發(fā)詞詞典，將觸發(fā)詞以及詞性結(jié)合起來(lái)對(duì)于企業(yè)文本進(jìn)行

3、信息標(biāo)注，從而得到一個(gè)觀察序列，運(yùn)用統(tǒng)計(jì)模型對(duì)于觀察序列解碼從而得到需要抽取的信息，實(shí)驗(yàn)表明該方法具有較高的召回率、準(zhǔn)確率、維度縮減率；針對(duì)通用搜索引擎信息過(guò)濾率低的問(wèn)題，提出了構(gòu)建面向企業(yè)的搜索引擎平臺(tái)。針對(duì)傳統(tǒng)搜索引擎排序中文本排序算法的不足，提出了將PageRank算法、分類技術(shù)、文檔詞頻-逆向詞頻值相結(jié)合來(lái)改進(jìn)文本排序算法，該算法對(duì)于用戶查詢的關(guān)鍵字進(jìn)行預(yù)分類，判斷用戶的輸入關(guān)鍵字最可能屬于的文本類型?；谖谋绢愋蛢?yōu)先從企業(yè)文本