基于監(jiān)督聚類的專利訓(xùn)練數(shù)據(jù)修剪研究.pdf

1、我們生活在一個(gè)信息爆炸的時(shí)代,各行各業(yè)積累了大量的,甚至是海量的數(shù)據(jù)。根據(jù)世界知識(shí)產(chǎn)權(quán)組織的統(tǒng)計(jì),專利文獻(xiàn)含有世界每年發(fā)明創(chuàng)造成果的90%~95%,世界每年的申請量以100多萬件的速度遞增,目前,累計(jì)總量已近4000萬件,充分利用這些專利文獻(xiàn)進(jìn)行技術(shù)創(chuàng)新能夠節(jié)約60%時(shí)間、節(jié)省40%的科研資金投入。每一件專利都會(huì)依據(jù)其內(nèi)容被分類至某一個(gè)國際專利分類碼(International Patent Classification,IPC)中。由

2、于數(shù)據(jù)的規(guī)模大,完全依靠專家進(jìn)行分類需要耗費(fèi)大量的人力物力,這就促進(jìn)了各種自動(dòng)專利分類的研究的興起。樸素貝葉斯,最近鄰,決策樹,以及支持向量機(jī)等已經(jīng)應(yīng)用到文本分類領(lǐng)域,并取得了一定的效果。然而,專利分類是一個(gè)大規(guī)模,不平衡,層次化以及多標(biāo)號的文本分類問題,大多數(shù)的傳統(tǒng)分類方法無法處理這樣復(fù)雜的問題。即使是性能最好的分類器—支持向量機(jī),由于其求解過程是一個(gè)二次規(guī)劃問題,導(dǎo)致訓(xùn)練時(shí)間與訓(xùn)練樣本個(gè)數(shù)接近平方級別的關(guān)系。因此,呂寶糧和他的合作者

3、提出了最小最大模塊化網(wǎng)絡(luò),它最顯著的特點(diǎn)是并行的,模塊化的結(jié)構(gòu)。其基本思想是“分而治之”：將一個(gè)大規(guī)模問題,分解成一些獨(dú)立的小規(guī)模問題,分別求解這些小規(guī)模問題,然后合并成大規(guī)模問題的解。本文的貢獻(xiàn)在于,通過引進(jìn)一種基于高斯零交叉函數(shù)最小最大模塊化網(wǎng)絡(luò)的監(jiān)督聚類算法,來修剪訓(xùn)練數(shù)據(jù)的規(guī)模,并將其成功的應(yīng)用到專利分類問題中去。文章的主要貢獻(xiàn)在以下幾個(gè)方面。1)分析了高斯零交叉函數(shù)最小最大模塊化網(wǎng)絡(luò)的特點(diǎn)：高度的模塊化,可以輸出“不知道”的能

4、力和增量學(xué)習(xí)能力。2)分析了高斯零交叉函數(shù)最小最大模塊化網(wǎng)絡(luò)接收域的特點(diǎn),根據(jù)此接收域,在學(xué)習(xí)過程中對訓(xùn)練樣本進(jìn)行聚類,去除冗余樣本。3)在聚類后,可能有些聚類含有的樣本數(shù)很少,這些樣本點(diǎn)可能是噪聲點(diǎn)。我們采用了噪聲去除和聚類合并算法對樣本進(jìn)行后處理。4)我們在NTCIR-5專利數(shù)據(jù)庫上進(jìn)行專利分類的仿真實(shí)驗(yàn),比較了在聚類和非聚類情況下的各項(xiàng)性能。實(shí)驗(yàn)結(jié)果證明,我們提出的聚類算法,可以去除冗余樣本,并保證在較少的訓(xùn)練數(shù)據(jù)集下,保持甚至獲