基于HAMA的半監(jiān)督哈希方法研究與應(yīng)用.pdf

1、在基于內(nèi)容的圖像檢索應(yīng)用中，基于哈希的最近鄰檢索算法有著很高的計算和內(nèi)存效率。而半監(jiān)督哈希算法，結(jié)合了無監(jiān)督哈希算法的正規(guī)化信息以及監(jiān)督算法跨越語義鴻溝的優(yōu)點(diǎn)，從而取得了良好的結(jié)果。但哈希函數(shù)訓(xùn)練過程因涉及到對大規(guī)模矩陣運(yùn)算，非常之緩慢，需要一種實踐技術(shù)加速其訓(xùn)練過程。
　　隨著并行計算應(yīng)用的推廣，基于MapReduce模型的Hadoop計算框架目前得以大范圍使用。但是其計算模型MapReduce對于復(fù)雜算法支持有限。而已經(jīng)有研究

2、者考慮理論上如何在MapReduce框架上實現(xiàn)其他并行計算模型。HAMA是一個在Hadoop平臺基礎(chǔ)上，以BSP并行計算模型為基礎(chǔ)的計算框架。
　　針對上述問題，本文開展了相關(guān)研究工作，其主要工作與貢獻(xiàn)說明如下:
　　1、研究了利用HAMA框架進(jìn)行基于BSP模型的并行計算程序開發(fā)方法，搭建了HAMA平臺，并且進(jìn)行了其功能性與擴(kuò)展性測試。測試實驗結(jié)果表明:節(jié)點(diǎn)任務(wù)個數(shù)為CPU核數(shù)-1的時候取得最優(yōu);2節(jié)點(diǎn)集群相比于單節(jié)點(diǎn)效率1

3、.77倍，3節(jié)點(diǎn)集群效率為2.43倍。
　　2、分析半監(jiān)督哈希方法的實現(xiàn)過程，針對其性能瓶頸為調(diào)整相關(guān)矩陣計算過程，在HAMA框架基礎(chǔ)上，研究提出一種半監(jiān)督哈希方法并行計算方法，該方法將調(diào)整相關(guān)矩陣計算過程分解為無監(jiān)督的相關(guān)部分與監(jiān)督性的調(diào)整部分，分別進(jìn)行并行計算處理。實驗結(jié)果表明，在大規(guī)模數(shù)據(jù)集合上，分布式的并行計算方法仍然是有效的，可以進(jìn)一步應(yīng)用在海量數(shù)據(jù)處理上。
　　3、針對海量圖像分布檢索需求，本文提出來一種基于半監(jiān)