大規(guī)模網(wǎng)絡數(shù)據(jù)中的平行句對抽取.pdf

1、本文由方法和實現(xiàn)兩個不同角度給出了一套由全網(wǎng)網(wǎng)絡數(shù)據(jù)源環(huán)境中抽取平行句對的方法。從句對挖掘算法角度上，將全網(wǎng)網(wǎng)絡數(shù)據(jù)源分為對照網(wǎng)頁和平行網(wǎng)頁兩種形式進行了網(wǎng)頁中的平行文本段的抽取，對照網(wǎng)頁部分依次使用基于詞典的雙語頁面過濾和自適應模板匹配的方法進行文本段抽取，該部分達到了81％的召回率，平行網(wǎng)頁集合則先根據(jù)URL字符串相似匹配獲得平行網(wǎng)頁對候選，再從配對網(wǎng)頁中通過節(jié)點匹配方式進行平行文本段的挖掘，該部分數(shù)據(jù)召回率達到75%。后又通過句子

2、切分和句對齊將平行文本段轉(zhuǎn)為了平行句對，通過本文給出的句對整理方法對結(jié)果句對進行整理，并根據(jù)自定義的平行句對質(zhì)量評價算法對句對進行了評分和過濾，最終得到非重復的結(jié)果平行句對約660萬。該數(shù)據(jù)由隨機抽樣進行人工評價，覆蓋率超過96%，可用性超過93%。從句對挖掘流程角度上，給出了兩種網(wǎng)頁集合分別的分布式方案，用于應對算法本身應對大規(guī)模數(shù)據(jù)困難的問題。給出了對照網(wǎng)頁的分片處理方法，并給出了平行網(wǎng)頁采用的子集分片挖掘方法，提出了可行的應對大規(guī)

3、模數(shù)據(jù)處理及數(shù)據(jù)增量更新的方案。最終在約75億網(wǎng)頁數(shù)據(jù)集，進行對照數(shù)據(jù)部分抽取運行時間約48小時，平行數(shù)據(jù)部分抽取時間約24小時。
　　本文提出了完整的由對照網(wǎng)頁和平行網(wǎng)頁兩種混合的網(wǎng)絡數(shù)據(jù)源進行平行句對抽取的方法，在實際條件下進行應用，并在可行時間開銷內(nèi)獲取結(jié)果句對。通過對流程中增量更新的實現(xiàn)，完成了多數(shù)據(jù)集合并和網(wǎng)絡新數(shù)據(jù)源的抽取問題。所提出的抽取流程支持大規(guī)模數(shù)據(jù)的抽取，同時支持增量更新，保證了該方法實踐可用性。最終句對質(zhì)量