基于騰訊問(wèn)問(wèn)平臺(tái)的問(wèn)句分類子系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，計(jì)算機(jī)可讀的文本信息也越來(lái)越多。人們期望迅速、準(zhǔn)確獲取信息的需求對(duì)信息檢索在查詢處理和答案處理兩個(gè)方面提出了新的挑戰(zhàn)。問(wèn)題回答作為自然語(yǔ)言處理領(lǐng)域中的一個(gè)相當(dāng)活躍的分支，所研究的內(nèi)容就是理解用戶用自然語(yǔ)言提出的需求，進(jìn)而在大規(guī)模的信息中自動(dòng)地給出滿足用戶特定需求的準(zhǔn)確答案。問(wèn)句分類作為一個(gè)新的研究領(lǐng)域和問(wèn)題回答系統(tǒng)的研究是相輔相成的，是問(wèn)題回答系統(tǒng)的一個(gè)重要模塊。問(wèn)題回答系統(tǒng)的首要任務(wù)就是需要理解用戶的需求。對(duì)系統(tǒng)而言

2、，為了能夠正確地回答問(wèn)題，知道一個(gè)問(wèn)題尋找什么樣的答案是非常重要的。問(wèn)題分類為問(wèn)題回答系統(tǒng)理解“用戶尋找什么”提供了重要信息和解決方案。
　　面向互聯(lián)網(wǎng)的中文問(wèn)題分類系統(tǒng)，主要由語(yǔ)料構(gòu)建、特征選擇、權(quán)值計(jì)算和分類器等部分組成。在類別多，層次多，而且沒(méi)有標(biāo)準(zhǔn)的訓(xùn)練與測(cè)試語(yǔ)料的情況下，如何保證較高的分類準(zhǔn)確率，是整個(gè)系統(tǒng)的關(guān)鍵所在。
　　本文根據(jù)互聯(lián)網(wǎng)的實(shí)際需求，設(shè)計(jì)了一個(gè)針對(duì)互聯(lián)網(wǎng)應(yīng)用的問(wèn)題分類系統(tǒng)。有如下幾項(xiàng)主要工作：

3、>　　首先，分析了用戶興趣和需求，確定分類體系，使該分類體系能夠滿足用戶的分類需求；然后，在該分類體系的基礎(chǔ)上，構(gòu)建了該體系的訓(xùn)練與測(cè)試語(yǔ)料，本文采用基于密度的聚類算法去除噪聲，使用OverSample和UnderSmaple方法平衡語(yǔ)料。并將部分樣本用作測(cè)試；使用向量空間模型來(lái)表示問(wèn)題，并通過(guò)Hownet等語(yǔ)義資源，計(jì)算句子之間的相似度；引入領(lǐng)域辭典；在分類方法上，對(duì)人工規(guī)則、機(jī)器學(xué)習(xí)規(guī)則、統(tǒng)計(jì)方法等多種方法進(jìn)行分析和比較，將這幾種方