基于聯(lián)合推斷的微博信息抽取研究.pdf

1、社會(huì)媒體是人們彼此之間用來分享意見、見解、經(jīng)驗(yàn)和觀點(diǎn)的工具和平臺(tái)。微博(Micro-blogs)是通過某個(gè)社會(huì)媒體——如推特(Twitter)或新浪微博——分享的不超過140個(gè)字符的文本消息。在本文中,微博特指通過推特分享的短文本消息。經(jīng)過最近五年的迅猛發(fā)展,微博目前已經(jīng)成為人們不可或缺的重要信息源。
　　微博有如下特點(diǎn):一是非結(jié)構(gòu)化,二是片面、零散和隨意,三是實(shí)時(shí)性強(qiáng),四是噪音多。如此一來,人們很難從海量的微博中獲取感興趣的信息

2、。本文系統(tǒng)研究了面向微博的信息抽取這一新任務(wù)。該任務(wù)的目標(biāo)是從充滿噪音的、零碎的、非結(jié)構(gòu)化的微博中提取有價(jià)值的結(jié)構(gòu)化的信息點(diǎn),從而幫助用戶有效地利用微博。這一任務(wù)可進(jìn)一步分解為命名實(shí)體識(shí)別、語義角色標(biāo)注、事件抽取、情感分析等子任務(wù)。
　　本文重點(diǎn)研究前三個(gè)子任務(wù)。研究面臨的主要挑戰(zhàn)是單條微博提供的信息非常有限——這源自微博內(nèi)容片面、零散、隨意和充滿噪音的特性。本文針對(duì)微博的特點(diǎn),提出了如下三類聯(lián)合推斷算法(Collective i

3、nference)以克服單條微博信息的不足。
　　1.基于K近鄰分類器的聯(lián)合推斷。K近鄰分類器利用標(biāo)記歷史中與當(dāng)前輸入相似的輸入的輸出,決定當(dāng)前輸入的輸出。
　　2.基于聚類的聯(lián)合推斷。第一遍進(jìn)行常規(guī)的單條微博信息處理,第二遍把相似的微博聚類,并利用聚類一級(jí)的信息對(duì)第一遍的結(jié)果作細(xì)化處理。
　　3.基于概率圖模型的聯(lián)合推斷。用圖模型在多條相關(guān)微博的抽取任務(wù)間建立聯(lián)系,使得針對(duì)各條微博的任務(wù)間可共享信息,并同時(shí)決定多條微