基于Web數(shù)據(jù)的雙語資源挖掘技術(shù)研究.pdf

1、隨著統(tǒng)計方法在自然語言處理中的廣泛應(yīng)用，雙語語料庫資源對于自然語言處理研究的巨大價值已經(jīng)得到越來越多的認(rèn)可，尤其在機器翻譯、跨語言信息檢索和雙語術(shù)語翻譯等領(lǐng)域具有不可或缺的重要作用。以互聯(lián)網(wǎng)為數(shù)據(jù)源挖掘雙語資源可以有效解決傳統(tǒng)人工構(gòu)建語料庫的規(guī)模不足，時效性、真實性、語種靈活性差等問題。現(xiàn)有的雙語資源挖掘技術(shù)主要針對雙語平行網(wǎng)頁，從中提取相同位置的互譯資源。由于這類網(wǎng)頁數(shù)量少，對齊模型復(fù)雜，本文提出針對單一雙語網(wǎng)頁進(jìn)行雙語資源挖掘方法，

2、通過介紹重點技術(shù)來描述雙語資源挖掘的過程。
　　本文提出了一種基于聯(lián)合策略的雙語網(wǎng)頁獲取方法。該方法通過啟發(fā)條件擴展搜索項、過濾不相關(guān)網(wǎng)頁，得到含有雙語信息的網(wǎng)頁，以頻繁序列模式為特征，使用支持向量機對網(wǎng)頁進(jìn)行二分類，判斷所得網(wǎng)頁是否為雙語網(wǎng)頁。
　　然后根據(jù)雙語網(wǎng)頁特點提出用頻繁序列模式和種子模式構(gòu)建規(guī)則庫，通過規(guī)則匹配的方法提取出雙語片段，同時使用非規(guī)則文本歸屬度來度量一個無法與規(guī)則相匹配的片段模式能否作為規(guī)則加入規(guī)則庫

3、。這樣可以擴充規(guī)則庫，滿足雙語資源存在的多樣性與特殊性要求。
　　在雙語資源抽取的過程中，考慮到語言的差異性，對于難以通過編碼區(qū)分的語言，加入語言特征，并在抽取信息時考慮語言特征的優(yōu)先級等因素來完成雙語資源的最終抽取。
　　最后，本文構(gòu)建了“基于Web數(shù)據(jù)的雙語資源挖掘系統(tǒng)”，該系統(tǒng)不僅實現(xiàn)了上述雙語資源挖掘方法，以可視化的方式展示實驗效果，更加入了方便用戶使用的查詞、瀏覽網(wǎng)頁、用戶添加、指定網(wǎng)址抓取以及種子選擇等功能，成為