概率數(shù)據(jù)檢索、挖掘及多層文本分類問題的研究.pdf

1、數(shù)據(jù)檢索與挖掘是一門不斷發(fā)展的綜合性交叉學(xué)科，涉及數(shù)據(jù)的存儲(chǔ)、索引、檢索、查詢以及分析等多個(gè)方面。本文主要針對(duì)其中的三個(gè)重要問題進(jìn)行了研究，主要內(nèi)容和結(jié)論可以歸納如下:第一，研究針對(duì)概率空間數(shù)據(jù)的文本檢索技術(shù)。不間斷地跟蹤、分析了Twitter 數(shù)據(jù)在地理位置上和時(shí)間上的分布特征，發(fā)現(xiàn)存在大量空間文本檢索的請(qǐng)求。從2011年11月至2012年5月，連續(xù)地收集帶有地理位置標(biāo)簽的Twitter數(shù)據(jù)，分析發(fā)現(xiàn)存在大量位置不確定性，嚴(yán)重影響了空

2、間文本檢索結(jié)果的準(zhǔn)確度和NDCG度量。研究旨在獲得文本語義相關(guān)性強(qiáng)、空間可信度高的信息。首先，基于可能世界語義模型，定義top-(c,k)檢索模式，以結(jié)合文本語義相關(guān)度和空間可信度兩方面的語義。其次，分析現(xiàn)有的空間文本數(shù)據(jù)索引結(jié)構(gòu)，利用IRTree混合索引結(jié)構(gòu)索引概率空間文本數(shù)據(jù)，提出了文本相似度得分和空間可信度得分的增量式計(jì)算算法(ISA)，按文本相似度得分遞減的順序逐個(gè)遍歷空間文本對(duì)象。然后，設(shè)計(jì)了參數(shù)化的概率排序算法PRankc，

3、與ISA算法相互配合，在線性時(shí)間內(nèi)計(jì)算所有空間文本對(duì)象的top-c可信度;給出了優(yōu)化策略，避免PRankc算法遍歷全部空間文本對(duì)象;設(shè)計(jì)了統(tǒng)計(jì)模型估計(jì)PRankc算法中參數(shù)c的合理取值。最后，在真實(shí)的Twitter數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，與其他檢索方式相比，top-(c，k)檢索模式能夠獲得更好的檢索質(zhì)量，并且采用優(yōu)化策略的PRankc算法能夠快速的完成檢索任務(wù)。第二，研究針對(duì)概率事務(wù)數(shù)據(jù)的頻繁項(xiàng)集挖掘技術(shù)。分析概率事務(wù)數(shù)據(jù)上頻

4、繁項(xiàng)集的語義，發(fā)現(xiàn)了基于期望值定義的期望頻繁項(xiàng)集帶來的語義缺失問題，提出了基于可能世界語義模型的概率頻繁項(xiàng)集的概念，并考察了概率頻繁項(xiàng)集的Apriori性質(zhì)。設(shè)計(jì)了多項(xiàng)式時(shí)間的候選頻繁項(xiàng)集的判定算法。分析確定環(huán)境下挖掘頻繁項(xiàng)集的經(jīng)典的Apriori算法，給出了概率頻繁項(xiàng)集挖掘算法P-Apriori，按可信度遞減地順序、增量式地返回概率頻繁項(xiàng)集。在概率事務(wù)數(shù)據(jù)上，對(duì)P-Apriori算法的項(xiàng)目概率分布敏感性進(jìn)行測(cè)試，并測(cè)試了各種參數(shù)下挖掘

5、算法的性能。實(shí)驗(yàn)表明，在各種挖掘參數(shù)下，P-Apriori算法均能在理想的時(shí)間和空間內(nèi)獲得挖掘結(jié)果，算法執(zhí)行時(shí)間大體上與數(shù)據(jù)集規(guī)模呈線性關(guān)系。第三，開展了多層文本分類技術(shù)的研究，分析多層文本分類技術(shù)面臨的兩個(gè)關(guān)鍵問題:數(shù)據(jù)偏斜問題和錯(cuò)誤傳播問題。提出了基于路徑的語義向量的概念，用于理解概念樹結(jié)構(gòu)中類別的準(zhǔn)確語義?；陬悇e的路徑語義向量表示和文本相似性度量，設(shè)計(jì)訓(xùn)練樣本增強(qiáng)策略，為訓(xùn)練樣本稀疏的類別收集潛在的、可靠的訓(xùn)練樣本?？疾炝烁拍顦?/p>