產(chǎn)品庫平臺(tái)系統(tǒng)的研究和實(shí)現(xiàn).pdf

1、隨著電子商務(wù)飛速發(fā)展，互聯(lián)網(wǎng)上的商品信息量呈“爆炸式”的發(fā)展，出現(xiàn)信息過載問題。為了改善用戶購物體驗(yàn)的購物搜索引擎和個(gè)性化推薦服務(wù)等應(yīng)用，都需要能將網(wǎng)上各式的商品與它所屬產(chǎn)品對應(yīng)起來，進(jìn)行“信息降維”。同時(shí)將互聯(lián)網(wǎng)上同屬一個(gè)產(chǎn)品的商品信息融合，有助于數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)。
　　 本文設(shè)計(jì)了產(chǎn)品庫平臺(tái)系統(tǒng)整體架構(gòu)模型：它能自動(dòng)處理海量的網(wǎng)上商品，識(shí)別這些商品屬于哪個(gè)產(chǎn)品，并更新產(chǎn)品庫：自動(dòng)融合每個(gè)產(chǎn)品對應(yīng)的網(wǎng)上商品的信息，包括產(chǎn)品規(guī)

2、格資料和評論信息；并且作為一個(gè)基礎(chǔ)平臺(tái)為其它應(yīng)用提供服務(wù)。
　　 本產(chǎn)品庫平臺(tái)與現(xiàn)存人工整理的產(chǎn)品庫平臺(tái)不同，是一個(gè)所有處理過程都是自動(dòng)化的產(chǎn)品庫平臺(tái)。本文重點(diǎn)研究了如何借助了IR(information retrieval)，自然語言處理以及機(jī)器學(xué)習(xí)等技術(shù)，設(shè)計(jì)算法來進(jìn)行商品所屬產(chǎn)品的自動(dòng)化識(shí)別。本論文根據(jù)商品數(shù)據(jù)的特點(diǎn)，在產(chǎn)品識(shí)別中的特征提取部分，研究了商品標(biāo)題中屬性實(shí)體識(shí)別和商品屬性規(guī)約問題。在商品標(biāo)題中屬性實(shí)體識(shí)別問題中

3、，由于經(jīng)典的命名實(shí)體識(shí)別算法具有較低的命名實(shí)體覆蓋率(有限的人工訓(xùn)練和識(shí)別)，需要人工干預(yù)，不能自學(xué)習(xí)(適應(yīng))商品數(shù)據(jù)的變化的局限性，本文提出改進(jìn)算法：基于商業(yè)詞庫的屬性實(shí)體識(shí)別算法，并用實(shí)驗(yàn)證明改進(jìn)的有效性。在商品屬性規(guī)約問題中，根據(jù)現(xiàn)有的基于頻率統(tǒng)計(jì)方法正確率和召回率都較低的現(xiàn)狀，改進(jìn)了商品規(guī)約算法，并用實(shí)驗(yàn)驗(yàn)證了改進(jìn)的有效性。在前面改進(jìn)的基礎(chǔ)上，本文設(shè)計(jì)并實(shí)現(xiàn)了完整的產(chǎn)品識(shí)別算法，并改進(jìn)其中的產(chǎn)品分類算法使其能完全自動(dòng)化，同時(shí)用實(shí)