基于Hadoop的雙語(yǔ)語(yǔ)料采集系統(tǒng).pdf

1、近年來(lái),自然語(yǔ)言處理的相關(guān)技術(shù)研究中,基于統(tǒng)計(jì)的研究方法占據(jù)了主導(dǎo),基于實(shí)例和統(tǒng)計(jì)的翻譯方法為機(jī)器翻譯技術(shù)提供新的研究思路。
　　對(duì)于機(jī)器翻譯領(lǐng)域來(lái)說(shuō),語(yǔ)料庫(kù)是機(jī)器翻譯統(tǒng)計(jì)學(xué)習(xí)不可或缺的基礎(chǔ)。特別地,雙語(yǔ)語(yǔ)料為機(jī)器翻譯和跨語(yǔ)言檢索等自然語(yǔ)言處理領(lǐng)域提供基礎(chǔ)的資源,大規(guī)模的雙語(yǔ)語(yǔ)料庫(kù)資源能夠明顯的改進(jìn)機(jī)器翻譯技術(shù)的質(zhì)量。同時(shí),語(yǔ)料庫(kù)中的翻譯知識(shí)獲取,可以細(xì)粒度的挖掘翻譯詞典和模板。
　　經(jīng)過(guò)多年來(lái)飛速的發(fā)展,互聯(lián)網(wǎng)上的信息劇增

2、,海量的互聯(lián)網(wǎng)網(wǎng)頁(yè)資源中包含了大量的雙語(yǔ)翻譯資源,且Web網(wǎng)頁(yè)的實(shí)時(shí)性和多樣性等特點(diǎn),相較于其他來(lái)源的語(yǔ)料,互聯(lián)網(wǎng)的雙語(yǔ)翻譯資源時(shí)效性強(qiáng),覆蓋領(lǐng)域廣,資源數(shù)量大。
　　研究基于Web的大規(guī)模雙語(yǔ)平行語(yǔ)料庫(kù)獲取技術(shù)對(duì)于解決雙語(yǔ)語(yǔ)料庫(kù)獲取難題,推動(dòng)相關(guān)技術(shù)發(fā)展和實(shí)用化具有重要的意義。本文的目標(biāo)就是建立一個(gè)面向互聯(lián)網(wǎng)基于Hadoop分布式計(jì)算平臺(tái)的雙語(yǔ)語(yǔ)料采集系統(tǒng)。
　　本文首先介紹Hadoop分布式技術(shù):MapReduce并發(fā)計(jì)

3、算模型和HDFS分布式文件系統(tǒng),并且對(duì)網(wǎng)頁(yè)爬行器的任務(wù)調(diào)度算法、信息去重、網(wǎng)頁(yè)更新識(shí)別等關(guān)鍵技術(shù)進(jìn)行了分析,論述了爬行器性能和效率的瓶頸,在此基礎(chǔ)上設(shè)計(jì)實(shí)現(xiàn)了基于Hadoop的面向Web的大規(guī)模、多語(yǔ)言的網(wǎng)頁(yè)爬行器和面向雙語(yǔ)網(wǎng)站的增量式爬行器。然后,本文介紹了一種基于互聯(lián)網(wǎng)詞典的元搜索獲取雙語(yǔ)平行句對(duì)的方法,最后,基于抽樣檢測(cè)對(duì)互聯(lián)網(wǎng)上雙語(yǔ)翻譯資源規(guī)模進(jìn)行了估計(jì),并論證了其正確性。
　　本文的意義在于提出了從Web上大規(guī)模采集雙語(yǔ)