基于反向過濾的近似字符串匹配及其優(yōu)化技術(shù).pdf

1、隨著計算機科學與技術(shù)的迅速發(fā)展，其在各行各業(yè)的應用越來越多。由于字符串是一種最基本的數(shù)據(jù)結(jié)構(gòu)，所以處理字符串的各種結(jié)構(gòu)和算法在近些年得到了廣泛的研究和應用。在信息的輸入和傳播的同時，難免會有很多錯誤出現(xiàn)，這就需要某些近似字符串處理算法，和精確的處理算法不同，近似處理算法還有很多問題沒有解決，本文正是選取了一個最常用的問題進行了研究——近似字符串匹配算法?，F(xiàn)有的近似字符串匹配算法有很多，其中最經(jīng)典的算法是一種基于gram的count過濾算

2、法。
　　本文的主要貢獻是提出了一種比count filter過濾能力更強的過濾算法，其基本思想和count過濾相反，因此本文稱其為反向過濾。反向過濾的基本思想是如果兩個字符串的編輯距離小于等于某一個閥門值，那么其中一個字符串的某些子片段和另外一個字符串的對應子片段的局部編輯距離一定小于這個閥門值。正是基于這樣一個基本思想，本文對反向過濾進行了系統(tǒng)地研究。定義了可以用于反向過濾的基本單位MinEd，并證明且證明了MinEd和全局編

3、輯距離的關(guān)系。通過MinEd和全局編輯距離的關(guān)系，得出了重要結(jié)論——即兩個字符串編輯距離下界。利用這個下界，得出了字符串匹配算法的過濾算法。
　　為了提高算法的過濾效果，基于MinEd的定義和定理，提出了MinEd累加定理。MinEd累加定理可以將多個MinEd的值進行有條件約束累加，大幅度地提高了反向過濾算法的過濾能力，并且提高了算法支持的最大查詢閥門值。在MinEd的基礎(chǔ)之上，提出了帶有位置約束的PMinEd，證明了其過濾能力

4、要強于MinEd。為了突破反向過濾方法在預處理階段對閥門值的限制，本文提出了一種在查詢階段動態(tài)擴展MinEd或者PMinEd的方法，很好地解決了上述問題。保證了算法的實用性。
　　本文提出了一個新的近似字符串匹配算法，其使用了經(jīng)典的count filter和本文提出的反向過濾。為了支持兩種過濾方法，設計了反向過濾索引和一個基于位置的倒排索引。通過兩個索引結(jié)構(gòu)的join操作可以進行反向過濾，其中count filter過濾是可選的，