產(chǎn)品名實(shí)體識(shí)別及規(guī)范化研究.pdf

1、隨著電子商務(wù)的普及與繁榮，針對(duì)電子商務(wù)的檢索技術(shù)開(kāi)始被越來(lái)越多的研究者所關(guān)注，其中，作為電子商務(wù)檢索技術(shù)的核心問(wèn)題之一的產(chǎn)品名實(shí)體識(shí)別技術(shù)也成為了一個(gè)重要的研究課題。本文主要研究產(chǎn)品名實(shí)體的定義與語(yǔ)料庫(kù)的構(gòu)建、產(chǎn)品名實(shí)體識(shí)別及規(guī)范化技術(shù)，具體內(nèi)容包括以下幾個(gè)方面：
　　第一，根據(jù)產(chǎn)品名實(shí)體在網(wǎng)絡(luò)環(huán)境中的變化規(guī)律，提出了產(chǎn)品名實(shí)體的組成成分的全新定義，從而有利于更為細(xì)致的針對(duì)不同組成成分的識(shí)別問(wèn)題開(kāi)展研究。在此基礎(chǔ)上，制定了產(chǎn)品名實(shí)

2、體語(yǔ)料標(biāo)注規(guī)范，并采用半監(jiān)督的方法構(gòu)建了一個(gè)高質(zhì)量的產(chǎn)品名實(shí)體識(shí)別語(yǔ)料庫(kù)。另一方面，為了使得產(chǎn)品名實(shí)體規(guī)范化能夠順利展開(kāi)，還給出了產(chǎn)品名實(shí)體規(guī)范化定義，并據(jù)此構(gòu)建了一個(gè)包含21240產(chǎn)品的層次型產(chǎn)品實(shí)體庫(kù)。
　　第二，針對(duì)產(chǎn)品名實(shí)體劃分結(jié)構(gòu)的特點(diǎn)，將產(chǎn)品名實(shí)體識(shí)別分為兩個(gè)階段，第一階段識(shí)別產(chǎn)品的品牌名、系列名、型號(hào)名及公司名，第二階段在第一階段的識(shí)別基礎(chǔ)上，對(duì)產(chǎn)品名實(shí)體進(jìn)行識(shí)別，并給出了基于隱馬爾科夫模型、最大熵模型、條件隨機(jī)場(chǎng)模

3、型的產(chǎn)品名實(shí)體識(shí)別方法。在基于最大熵模型和條件隨機(jī)場(chǎng)模型的產(chǎn)品名實(shí)體識(shí)別方法中，將產(chǎn)品的品牌庫(kù)和系列庫(kù)融入到模型的特征模板中，用于觸發(fā)產(chǎn)品的品牌名、系列名及型號(hào)名的識(shí)別。實(shí)驗(yàn)結(jié)果表明，在融入產(chǎn)品的品牌特征和系列特征之后，系統(tǒng)對(duì)產(chǎn)品名實(shí)體識(shí)別的F值提升了8.42％。最后，比較分析了三個(gè)方法之間的優(yōu)缺點(diǎn)，其中基于條件隨機(jī)場(chǎng)模型的產(chǎn)品名實(shí)體識(shí)別方法取得了最好的識(shí)別性能，系統(tǒng)的F值取得了86.45%。
　　第三，針對(duì)產(chǎn)品名稱(chēng)簡(jiǎn)寫(xiě)及產(chǎn)品多名