基于內(nèi)容的Internet Web中文信息過濾.pdf

1、本論文研究的主要內(nèi)容為基于內(nèi)容的中文網(wǎng)絡(luò)信息過濾。在論文的撰寫過程中，首先深入研究了模式匹配中的一些經(jīng)典算法，包括算法流程，匹配思想以及時(shí)空性能。并對(duì)英文語(yǔ)境進(jìn)行了分析，了解到在英文中字母使用較平均的特點(diǎn)。經(jīng)典模式匹配算法之所以有著良好的性能，正是由于其充分利用了英文語(yǔ)境的這一特點(diǎn)。但在對(duì)中文語(yǔ)境進(jìn)行分析之后可發(fā)現(xiàn)，中文語(yǔ)言特點(diǎn)與英文有著極大的不同，主要表現(xiàn)為中文語(yǔ)境中漢字使用頻率分布極為不平衡。因此將適用于英文語(yǔ)境的模式匹配算法直接移

2、植到中文語(yǔ)境當(dāng)中并不可取。本文充分利用了中文語(yǔ)境的特點(diǎn)，改進(jìn)了經(jīng)典的模式匹配算法，根據(jù)漢字使用頻率調(diào)整了字符串匹配中的比較順序，從而使得算法效率得到了提高，并通過實(shí)驗(yàn)加以驗(yàn)證，證實(shí)了改進(jìn)的正確性與合理性。
　　 此外，中文語(yǔ)境中存在著一些更為獨(dú)特的特點(diǎn)，本文針對(duì)其中的同音字、形近字這一現(xiàn)象，利用它們發(fā)音相似的特點(diǎn)，提出了一種利用拼音轉(zhuǎn)換提高匹配準(zhǔn)確率的方法。相比字符串直接匹配的方法，這種方法顯得更加智能，更加面向使用計(jì)算機(jī)的人，