基于眾包的網(wǎng)絡表格語義恢復.pdf

1、在互聯(lián)網(wǎng)中存在大量結構化的表格數(shù)據(jù)，但這些數(shù)據(jù)大多數(shù)都缺少表頭、實體列和外鍵。對于表格數(shù)據(jù)，表頭等結構信息是進行數(shù)據(jù)檢索和表格融合的重要基礎。目前，人們提出了很多機器算法來恢復網(wǎng)絡表格的結構消息，但在算法準確性和穩(wěn)定性方面都有待提高。近年來，眾包技術被越來越廣泛的應用于自然語言處理、圖片識別等領域。本文提出引入眾包技術解決網(wǎng)絡表格的結構信息恢復問題，在機器算法的基礎上通過工人來完成表頭、實體列和外鍵的標注任務。
　　在表頭和實體列

2、恢復方面，論文提出了任務約簡的理論模型和算法，通過引入典型屬性的概念，對傳統(tǒng)聚類算法進行改進，在聚類的基礎上從表格中挑選少量代表元組呈現(xiàn)給工人，使標注任務得到明顯簡化;此外，論文提出了基于答案可信度的評估模型，通過對工人不同領域的動態(tài)評分完成相應的任務推薦和答案決策。大量實驗表明，本文提出的工人評估模型能顯著提高答案的準確性，而任務約簡模型能在保證不影響答案準確行的前提下明顯減少工人完成任務的時間。
　　在外鍵標注方面，針對網(wǎng)絡表