移動(dòng)數(shù)據(jù)同步機(jī)制與真值發(fā)現(xiàn)算法研究.pdf

1、目前數(shù)據(jù)同步業(yè)務(wù)已經(jīng)成為信息化時(shí)代最重要的業(yè)務(wù)之一，移動(dòng)設(shè)備的多樣化和性能的提高都促進(jìn)了移動(dòng)數(shù)據(jù)同步業(yè)務(wù)的發(fā)展。然而移動(dòng)計(jì)算環(huán)境的復(fù)雜性、動(dòng)態(tài)性、弱連接性以及通信延遲與帶寬相對(duì)有限等特征使得移動(dòng)節(jié)點(diǎn)間的數(shù)據(jù)同步效率降低，基于傳統(tǒng)集中式架構(gòu)的移動(dòng)數(shù)據(jù)同步方案難以高效地實(shí)現(xiàn)數(shù)據(jù)的一致性。
　　為了解決上述問(wèn)題，本文總結(jié)了主流的數(shù)據(jù)同步技術(shù)以及同步架構(gòu)，針對(duì)移動(dòng)計(jì)算環(huán)境提出一種混合式數(shù)據(jù)同步機(jī)制(Hybrid Data Synchron

2、ization Mechanism, HDSM)，將集中式架構(gòu)和Adhoc架構(gòu)有機(jī)融合，設(shè)置自組織域(Self-Organization Domain, SOD)為同步進(jìn)程管理單位，通過(guò)數(shù)據(jù)通信局域化，減少了同步數(shù)據(jù)通信量，同時(shí)減輕了數(shù)據(jù)同步服務(wù)器負(fù)載。為了縮短同步響應(yīng)時(shí)間，加快SOD中同步數(shù)據(jù)的分發(fā)速度，本文還提出了一種基于節(jié)點(diǎn)能力值的數(shù)據(jù)分發(fā)策略(Capacity-value-based Data Distribution Stra

3、tegy, CDDS)，根據(jù)移動(dòng)節(jié)點(diǎn)綜合處理能力值來(lái)建立SOD樹(shù)分發(fā)路徑，實(shí)現(xiàn)了SOD中各移動(dòng)節(jié)點(diǎn)對(duì)同步數(shù)據(jù)的高效分發(fā)。針對(duì)增量數(shù)據(jù)捕獲問(wèn)題，本文調(diào)研了常用的增量同步方法例如時(shí)間戳法、觸發(fā)器法、日志法、快照法、API法等并提出了一種基于軌跡變更的增量捕獲策略(Increment Capture Strategy based on Track Changes, ICSTC)，采用觸發(fā)器捕獲操作日志，并用凈化方法合并操作日志得到凈增量數(shù)據(jù)，

4、減少了同步數(shù)據(jù)量，降低了數(shù)據(jù)的傳輸成本以及縮短了同步響應(yīng)時(shí)間。
　　如今互聯(lián)網(wǎng)已然成為了一個(gè)巨型數(shù)據(jù)集，它的發(fā)展給人們生活和工作帶來(lái)便利的同時(shí)，其提供的數(shù)據(jù)質(zhì)量問(wèn)題也日益突出。為了確保用戶(hù)搜集數(shù)據(jù)的質(zhì)量，提供給用戶(hù)或決策者最為準(zhǔn)確的數(shù)據(jù)，真值發(fā)現(xiàn)問(wèn)題受到了廣泛的關(guān)注。針對(duì)現(xiàn)有真值發(fā)現(xiàn)算法復(fù)雜難懂、準(zhǔn)確性不高的問(wèn)題，本文提出了一種基于實(shí)體屬性的真值發(fā)現(xiàn)算法(Truth Finder Algorithm based on Entity

5、 Attribute, TFAEA)，在數(shù)據(jù)源可靠性和事實(shí)準(zhǔn)確性迭代計(jì)算機(jī)制的基礎(chǔ)上，考慮事實(shí)相互支持度和數(shù)據(jù)源之間的依賴(lài)關(guān)系兩個(gè)因素，簡(jiǎn)化了真值發(fā)現(xiàn)算法。為了提高真值發(fā)現(xiàn)算法的準(zhǔn)確性，本文采用單向文本相似度與事實(shí)沖突程度相結(jié)合的方法來(lái)計(jì)算事實(shí)相互支持度，并提出了數(shù)據(jù)源對(duì)稱(chēng)飽和度方法來(lái)計(jì)算數(shù)據(jù)源之間的依賴(lài)程度。實(shí)驗(yàn)結(jié)果表明，TFAEA算法不僅穩(wěn)定，而且有很高的準(zhǔn)確性。
　　最后，在基于混合式數(shù)據(jù)同步機(jī)制和基于實(shí)體屬性的真值發(fā)現(xiàn)算法