基于編輯距離和條件函數(shù)依賴的酒店數(shù)據(jù)清洗方法研究.pdf

1、真實(shí)環(huán)境中,相同的物理實(shí)體通常會有多種在邏輯上的描述。當(dāng)物理實(shí)體描述為酒店數(shù)據(jù)時,這種現(xiàn)象特別明顯。本論文基于酒店實(shí)體數(shù)據(jù)匹配的實(shí)際需求,對數(shù)據(jù)清洗與實(shí)體匹配問題進(jìn)行了分析與研究,最終提出了一套在酒店數(shù)據(jù)背景下的數(shù)據(jù)清洗框架。該框架主要基于編輯距離、主數(shù)據(jù)和條件函數(shù)依賴等技術(shù)。
　　編輯距離是一種廣泛用于描述字符串相似度的標(biāo)識。主數(shù)據(jù)則是能夠被視為事實(shí)的數(shù)據(jù)倉庫?；谒鼈?論文中設(shè)計了去除潛在重復(fù)數(shù)據(jù)的以抽取酒店主數(shù)據(jù)的兩類算法:

2、即一般匹配算法和遞增匹配算法。兩類算法都展示了穩(wěn)定的、可接受的性能。面對數(shù)據(jù)源不斷改變的真實(shí)應(yīng)用環(huán)境,在一般匹配算法的基礎(chǔ)上,論文中設(shè)計了遞增匹配算法。相比于一般匹配算法,遞增算法在運(yùn)行時間上擁有了更高的效率。
　　另一方面,條件函數(shù)依賴則是一類最近提出的完整性約束。它已經(jīng)被證明能夠通過在語義上強(qiáng)制綁定相應(yīng)的數(shù)據(jù)值,從而有效地檢測出數(shù)據(jù)中的錯誤和不一致性。利用從主數(shù)據(jù)中提取出的條件函數(shù)依賴,能夠高效地去除或修復(fù)數(shù)據(jù)中的雜質(zhì)與錯誤,