數(shù)據(jù)清洗在構(gòu)建POI數(shù)據(jù)倉庫中的研究與應(yīng)用.pdf

1、移動互聯(lián)網(wǎng)顛覆了人們的生活方式，互聯(lián)網(wǎng)+商戶為吸引客戶消費(fèi)出臺各種優(yōu)惠信息，但是這些信息散落在互聯(lián)網(wǎng)各處，用戶有時需要同時安裝好幾款軟件或者訪問不同的網(wǎng)站才能享受到附近不同商家的優(yōu)惠信息，用戶到達(dá)度偏低。為了采集匯聚POI信息，構(gòu)建數(shù)據(jù)倉庫，需要從各種異構(gòu)的數(shù)據(jù)源導(dǎo)入大量的數(shù)據(jù)，而這些原始數(shù)據(jù)存在各種質(zhì)量問題，使得在應(yīng)用前端的決策支持系統(tǒng)出現(xiàn)錯誤的分析結(jié)果，影響信息服務(wù)的質(zhì)量，數(shù)據(jù)清洗是提高數(shù)據(jù)質(zhì)量的重要途徑。
　　本文首先介紹數(shù)

2、據(jù)清洗的概念、原理、意義和國內(nèi)外研究現(xiàn)狀，重點對字符串匹配算法和相似重復(fù)記錄檢測算法和特點做了分析和比較。接著，根據(jù)來源于大眾點評、團(tuán)800、QQ美食的POI商戶信息的特點，進(jìn)行了數(shù)據(jù)倉庫的總體設(shè)計。并針對POI商戶信息的具體質(zhì)量問題作數(shù)據(jù)清洗，包括商戶名、商戶地址和商戶電話號碼等信息，其中在對商戶地址信息處理過程中，建立標(biāo)準(zhǔn)的行政區(qū)劃詞典庫，以完成對商戶地址信息的規(guī)范化處理；在地址規(guī)范化處理過程中，逐步建立街道、標(biāo)志性建筑等詞庫，為以

3、后處理更多的POI商戶地址信息做標(biāo)準(zhǔn)詞庫參考。隨后，根據(jù)標(biāo)準(zhǔn)化處理的POI商戶地址信息，利用ArcGIS對數(shù)據(jù)清洗結(jié)果加以驗證。即利用百度API提供的地址解析接口，獲取數(shù)據(jù)清洗前后商戶的經(jīng)緯度，由ArcMap擬合經(jīng)緯度，直觀判斷數(shù)據(jù)清洗前后的效果。最后，運(yùn)用GeoHash編碼，將二維的經(jīng)緯度編成一維字符串，方便基于用戶位置的商家信息的查詢與推送，并且將清洗后的數(shù)據(jù)加載入數(shù)據(jù)倉庫。
　　在本文的結(jié)尾，對所做的工作進(jìn)行了總結(jié)，并對PO