問題微博的自動識別技術(shù)研究.pdf

1、隨著微博、Twitter、Facebook等社交網(wǎng)絡(luò)的發(fā)展，人們越來越多地通過社交網(wǎng)絡(luò)進行信息互動和信息尋求，在狀態(tài)域中提問已經(jīng)成為流行的信息尋求行為之一。直接在社交網(wǎng)絡(luò)中提問不但可以避免生成查詢、選擇答案，還可以獲得可信的、個性化的回答，因此社交網(wǎng)站中問題的識別與答案推薦具有重要的實際意義與研究價值。本文首次提出對新浪微博中的信息尋求行為和問題識別技術(shù)進行研究，主要包含以下內(nèi)容:
　　第一，構(gòu)建數(shù)據(jù)集。對新浪微博進行采樣，分析選

2、取的微博樣本，給出“問題微博”的定義，并把問題微博分為12大類。此外，歸納總結(jié)當前國內(nèi)外不同領(lǐng)域中的問題識別技術(shù)方案，并分析問題微博識別的難點。
　　第二，提出基于序列模式的問題自動識別技術(shù)。從詞義和語法兩個層面上提取微博序列特征，將微博轉(zhuǎn)化為詞義序列和語法序列，并使用頻繁序列模式挖掘算法獲取滿足支持度和置信度的序列模式。實驗得到基于詞義和語法序列特征的問題識別精度分別為55.7％和76.5％。結(jié)果表明，當最小支持度較高、置信度適

3、中時得到的詞義序列模式取得的F1值較好;相反，在最小支持度適中，置信度較高時獲得的語法序列模式更有利于問題的識別。
　　第三，特征提取是問題識別的關(guān)鍵技術(shù)。本文詳細研究了微博疑問詞、長度、區(qū)分度詞語等8種內(nèi)部文本特征;利用外部資源如百度知道、百度百科、微博搜索等提取外部輔助特征;使用LDA主題分類計算微博的主題分布特征。問題微博識別是二元分類問題，通過實驗比較不同特征及不同分類器對微博的分類效果，結(jié)果表明樸素貝葉斯分類器的問題識別