基于用戶置信度的數(shù)據(jù)時(shí)效性判定研究.pdf

1、隨著網(wǎng)絡(luò)信息技術(shù)的快速發(fā)展，如果大數(shù)據(jù)中有許多遺留下來(lái)的歷史數(shù)據(jù)，那么用戶從數(shù)據(jù)倉(cāng)庫(kù)中提取信息時(shí)可能會(huì)過(guò)時(shí)或不準(zhǔn)確，時(shí)效性差的數(shù)據(jù)可能會(huì)對(duì)人們的日常生活和企業(yè)決策分析帶來(lái)許多不利影響。因此，對(duì)數(shù)據(jù)的時(shí)效性判定問(wèn)題研究對(duì)提高數(shù)據(jù)質(zhì)量至關(guān)重要。當(dāng)前的數(shù)據(jù)時(shí)效性判定方法可分為三類:基于時(shí)間戳的方法、基于不確定規(guī)則的方法和基于確定規(guī)則的方法?；跁r(shí)間戳的方法要求完整精準(zhǔn)的時(shí)間戳，但這樣的時(shí)間戳在很多實(shí)際應(yīng)用中是不存在。基于不確定規(guī)則的方法是針對(duì)

2、表達(dá)不確定的領(lǐng)域知識(shí)，不依賴冗余記錄，雖能提高召回率，卻會(huì)損失精確率。當(dāng)前基于確定規(guī)則的時(shí)效性判定算法均是依賴于冗余元組和時(shí)效約束關(guān)系，但在判定其數(shù)據(jù)時(shí)效性時(shí)僅考慮了屬性的主觀權(quán)重。對(duì)此，本文在基于確定規(guī)則的數(shù)據(jù)時(shí)效性判定方法基礎(chǔ)上進(jìn)行深入研究，定義了綜合屬性主觀權(quán)重和屬性之間依賴關(guān)系的用戶置信度，并提出了基于用戶置信度的完備數(shù)據(jù)時(shí)效性判定算法，以提高數(shù)據(jù)時(shí)效性查詢結(jié)果的質(zhì)量。同時(shí)發(fā)現(xiàn)對(duì)不完備數(shù)據(jù)時(shí)效性判定的研究比較薄弱，本文還進(jìn)一步提

3、出了一種基于用戶置信度的不完備數(shù)據(jù)時(shí)效性判定方法。
　　(1)針對(duì)數(shù)據(jù)的時(shí)效性模型及李默涵等人[22]給出的對(duì)數(shù)據(jù)時(shí)效性判定問(wèn)題的求解算法未考慮屬性之間依賴關(guān)系，提出了一種基于用戶置信度的對(duì)完整數(shù)據(jù)的時(shí)效性判定方法。該方法結(jié)合用戶的主觀權(quán)重、屬性與屬性間的依賴關(guān)系、冗余記錄以及時(shí)效約束4個(gè)方面進(jìn)行綜合考慮，在對(duì)完整數(shù)據(jù)的時(shí)效性判定過(guò)程中，用戶置信度是依據(jù)冗余記錄中每個(gè)屬性的用戶主觀權(quán)重和屬性之間的依賴關(guān)系，即屬性的主客觀權(quán)重而確定

4、的;并在真實(shí)數(shù)據(jù)和虛擬數(shù)據(jù)集合上進(jìn)行對(duì)比實(shí)驗(yàn)，其結(jié)果表明該算法在對(duì)完整數(shù)據(jù)進(jìn)行數(shù)據(jù)時(shí)效性判定時(shí)，其查詢結(jié)果在準(zhǔn)確率、召回率和時(shí)效性判定值得到了提高，優(yōu)于文獻(xiàn)[22]，進(jìn)而表明本文所定義的用戶置信度因子在處理完備數(shù)據(jù)時(shí)效性判定的權(quán)重是合理的和有效的。
　　(2)針對(duì)傳統(tǒng)數(shù)據(jù)時(shí)效性模型在處理不完備數(shù)據(jù)時(shí)的不足，提出一種基于用戶置信度的不完備數(shù)據(jù)時(shí)效性判定方法。首先，依據(jù)屬性類型分類思想對(duì)不同類型的不完備數(shù)據(jù)集合進(jìn)行預(yù)處理，使其更接近完

5、備數(shù)據(jù)，有助于時(shí)效性建模和時(shí)效性判定計(jì)算;其次，依據(jù)不完備數(shù)據(jù)的時(shí)效約束關(guān)系建立不完備數(shù)據(jù)時(shí)效性模型。在對(duì)最新值查詢判定時(shí)，空值不可能是最新值，如果錯(cuò)誤數(shù)據(jù)是最新值，則全都放在最新值的記錄集合中，若不是最新值，則對(duì)最新值查詢的時(shí)效性判定值無(wú)影響;在時(shí)效序列查詢判定時(shí)，將成對(duì)的錯(cuò)誤數(shù)據(jù)作為一個(gè)結(jié)點(diǎn)按照其時(shí)效約束關(guān)系進(jìn)行構(gòu)造時(shí)效圖。然后，依據(jù)不完備數(shù)據(jù)集合中冗余記錄的屬性主觀權(quán)重和屬性之間依賴關(guān)系即客觀權(quán)重計(jì)算其用戶置信度。最后，將本文提出