中文微博實(shí)體鏈接方法研究.pdf

1、網(wǎng)絡(luò)資源的不斷膨脹，信息的不斷增多使得人們獲取有價(jià)值的信息變得越來(lái)越困難。而微博的發(fā)展和流行，使得人們更加無(wú)法從短文本中獲取更多感興趣的內(nèi)容。課題組為解決這一問題，開發(fā)了知識(shí)拓展與推薦平臺(tái)，為用戶感興趣的信息提供更多的拓展信息。而待拓展知識(shí)條目的歧義性成為系統(tǒng)性能的瓶頸。實(shí)體鏈接技術(shù)是解決該問題的重要方法，它讓程序自動(dòng)確定上下文中出現(xiàn)的某個(gè)實(shí)體指稱應(yīng)該指向的真實(shí)世界中的哪個(gè)實(shí)體，從而實(shí)現(xiàn)消歧。針對(duì)中文微博這一短文本領(lǐng)域的實(shí)體鏈接任務(wù)，主

2、要進(jìn)行了以下幾個(gè)方面的工作：
　　為獲取充足的微博語(yǔ)料，本課題首先實(shí)現(xiàn)了網(wǎng)頁(yè)微博爬蟲程序，相比于API的獲取方式，大大提高了獲取效率，同時(shí)獲取了大量的微博語(yǔ)料，并進(jìn)行了相應(yīng)預(yù)處理工作。
　　候選實(shí)體的獲取是實(shí)體鏈接的關(guān)鍵，針對(duì)任一待消歧實(shí)體，提出了多種不同方式獲取的候選實(shí)體，分別賦予了不同的權(quán)重以去除噪聲提高消歧的準(zhǔn)確性。候選知識(shí)庫(kù)信息的獲取則主要來(lái)自維基百科和百度百科，對(duì)于百科中不存在的詞匯，則調(diào)用一個(gè)元搜索對(duì)網(wǎng)絡(luò)上的信息