高考?xì)v史簡答題自動評價方法研究.pdf

1、高考是全國范圍內(nèi)最重要的考試之一，試卷評閱質(zhì)量是決定考生得分的關(guān)鍵環(huán)節(jié)。高考題目中的主觀題包括簡答題、論述題、作文題等多個類型，目前全部由人工閱卷評分。但該過程會受到多個因素的影響，例如閱卷人對所判科目的理解全面程度，答題人所列要點清晰程度、卷面整潔程度等，并且閱卷工作量巨大，將耗費(fèi)一定的人力和時間。因此我們考慮使用自然語言處理方法初步探索用計算機(jī)閱卷的可能性。本題目實質(zhì)上是研究簡答題的學(xué)生答案與標(biāo)準(zhǔn)答案間的文本相似度和學(xué)生答案得分之間

2、的聯(lián)系，而文本間的匹配可以通過建立多種不同的模型來實現(xiàn)。本文主要從以下幾個方面探索了學(xué)生答案和標(biāo)準(zhǔn)答案間的相似度：
　　第一，計算文本間的N-gram共現(xiàn)準(zhǔn)確率、召回率等是基本思路。我們分析總結(jié)了BLEU和ROUGE所使用的N-gram共現(xiàn)計算方法，并將它們應(yīng)用到了簡答題自動評價問題中。我們使用了spearman秩相關(guān)系數(shù)在答案數(shù)據(jù)集上檢驗N-gram共現(xiàn)特征與數(shù)據(jù)得分之間的相關(guān)性。最后通過傳統(tǒng)的機(jī)器學(xué)習(xí)方法——排序支持向量機(jī)(R

3、anking supporting vector machine)在這些特征上篩選得到能使模型排序效果最好的特征集合。
　　第二，認(rèn)為僅靠N-gram共現(xiàn)特征是不夠的。淺層語言學(xué)知識包括詞法、句法和語義三個方面，其中詞法和語義特征都是需要進(jìn)一步探索的。文本是由許多不同的詞組成，詞性不同的詞在句子中的重要程度也不同。顯然，在學(xué)生答案與標(biāo)準(zhǔn)答案間共現(xiàn)的詞中動詞、名詞可能會比其他詞性成分重要。因此我們將計算基于詞性的詞匯共現(xiàn)特征。另外，

4、我們還可以將名詞進(jìn)一步延伸為特定的歷史學(xué)相關(guān)專有名詞，也具有一定重要性。語義相似度上我們應(yīng)用了信息檢索中查詢與文檔間的相似度計算方法。
　　第三，深度學(xué)習(xí)已逐漸從最開始的計算詞的分布表示逐漸發(fā)展到計算包含更多語義信息的短語、句子、文本等。詞向量一個最基本的應(yīng)用是計算兩個詞語的語義相似度。相應(yīng)的，當(dāng)我們根據(jù)一個完整的語料庫訓(xùn)練出的模型得到的句子向量，也應(yīng)能夠給出兩個句子的語義相似度。我們利用深度學(xué)習(xí)中神經(jīng)網(wǎng)絡(luò)的方法將學(xué)生答案和標(biāo)準(zhǔn)答