基于同義實(shí)體識別的Web數(shù)據(jù)集成.pdf

1、豐富的互聯(lián)網(wǎng)信息資源使得信息獲取變得容易，從Web信息中提取有價(jià)值的內(nèi)容，加工，處理、融合為高質(zhì)量的數(shù)據(jù)漸漸成為企業(yè)組建業(yè)務(wù)數(shù)據(jù)的重要方式。準(zhǔn)確有效地集成海量Web信息，也是Web信息動態(tài)聚合、市場情報(bào)分析、輿情分析、商業(yè)智能等分析型應(yīng)用的重要基礎(chǔ)。但是Web數(shù)據(jù)存在多源、海量、異構(gòu)等問題，為集成帶來了一定難度。而在Web數(shù)據(jù)集成過程中，由于數(shù)據(jù)來源不同、組織形式各異，因而存在了大量實(shí)體指代同一個(gè)實(shí)體的問題，即同義實(shí)體問題。同義實(shí)體問題

2、的存在造成了集成系統(tǒng)中數(shù)據(jù)的大量冗余，不僅影響了最終生成的服務(wù)數(shù)據(jù)質(zhì)量，同時(shí)還影響了用戶的良好體驗(yàn)。因此，如何減少數(shù)據(jù)集成中的同義實(shí)體問題，是Web數(shù)據(jù)集成中面臨的一大考驗(yàn)。
　　(1)本文介紹了數(shù)據(jù)集成的相關(guān)背景和技術(shù)，重點(diǎn)包括:數(shù)據(jù)采集、數(shù)據(jù)抽取和數(shù)據(jù)融合。在數(shù)據(jù)融合部分著重介紹了同義實(shí)體識別領(lǐng)域的研究背景和研究現(xiàn)狀。
　　(2)本文提出了一種基于搜索引擎的相似度計(jì)算算法，利用搜索引擎返回的頁面摘要信息(Snippet)

3、計(jì)算命名實(shí)體之間的相似度，并通過相似度進(jìn)一步實(shí)現(xiàn)了基于搜索引擎的同義實(shí)體識別算法FSE。本文利用現(xiàn)實(shí)世界采集的命名實(shí)體數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，與VarientDice等同樣基于搜索引擎的相似度算法進(jìn)行了對比試驗(yàn)。經(jīng)過實(shí)驗(yàn)，F(xiàn)SE算法的F值達(dá)到了93.59％，高于其他對比算法中最高的VarientDice算法1.8％，高于最低的VarientJaccard算法3.15％。
　　(3)本文設(shè)計(jì)了一種基于同義實(shí)體識別的Web信息集成框架，并將基于