基于Hadoop和支持向量機(jī)的緊密度后處理的研究與實(shí)現(xiàn).pdf

1、如何將用戶所查結(jié)果準(zhǔn)確地提取出來并展示已經(jīng)成為目前搜索引擎的主要目標(biāo)。搜索引擎涉及多項(xiàng)技術(shù)，自然語(yǔ)言處理是極為重要的一項(xiàng)，也是其他技術(shù)研究進(jìn)行提升的基礎(chǔ)。緊密度是分詞并去停用詞之后的關(guān)鍵技術(shù)之一，用于描述分詞之后的最小單位(Term)之間的關(guān)系，是網(wǎng)頁(yè)搜索的相關(guān)性排序中一項(xiàng)重要指標(biāo)數(shù)據(jù)，對(duì)于排序的結(jié)果起著決定性的作用，在搜索引擎中都發(fā)揮著重要的作用，同時(shí)對(duì)于提升用戶搜索結(jié)果的準(zhǔn)確率以及召回率有著十分重要的意義。
　　由于分詞的策略

2、是最小切割，會(huì)盡可能地將語(yǔ)句進(jìn)行細(xì)粒度切分，這就會(huì)將一些長(zhǎng)詞組切分成多個(gè)Term，在隨后的搜索結(jié)果中，會(huì)召回一些不符合用戶的搜索需求的網(wǎng)頁(yè)，影響搜索結(jié)果的準(zhǔn)確率，并造成較差的用戶體驗(yàn)。論文以搜狗搜索引擎的實(shí)際項(xiàng)目為背景，對(duì)于搜索引擎的中文分詞中新詞發(fā)現(xiàn)的算法策略進(jìn)行了研究，設(shè)計(jì)了基于策略進(jìn)行Term關(guān)系提取的算法，將這些關(guān)系進(jìn)行提取組成特征，通過支持向量機(jī)(Support Vector Machine，SVM)進(jìn)行特征分類，并對(duì)緊密度的

3、實(shí)際效果進(jìn)行提升。論文主要完成了下面的幾項(xiàng)工作:
　　(1)數(shù)據(jù)預(yù)處理。對(duì)原始搜索日志進(jìn)行分詞以及初始統(tǒng)計(jì)工作，得出后續(xù)策略的基礎(chǔ)數(shù)據(jù)。
　　(2)基于搜索回話日志的初步后處理。通過對(duì)搜索會(huì)話數(shù)據(jù)計(jì)算搜索語(yǔ)句差異值，得出部分會(huì)話數(shù)據(jù)，并對(duì)緊密度進(jìn)行初步后處理;
　　(3)基于網(wǎng)頁(yè)正文的二步后處理。針對(duì)專有名詞級(jí)別的緊密度結(jié)果，基于新詞發(fā)現(xiàn)的算法，利用信息熵、互信息等方法，得出兩兩term之間的特征關(guān)系，并將特征值通過S