基于FCA的產(chǎn)品信息提取和結(jié)構(gòu)化顯示方法.pdf

1、在Web中檢索一個(gè)查詢?cè)~，搜索引擎往往會(huì)返回成千上萬(wàn)的搜索結(jié)果，這些結(jié)果絕大部分對(duì)于某個(gè)特定的用戶而言都是不相關(guān)的，用戶必須通過(guò)瀏覽冗長(zhǎng)的列表或?qū)哟谓Y(jié)構(gòu)復(fù)雜的樹(shù)型結(jié)構(gòu)才能找到自己所需要的信息。列表方式呈現(xiàn)的信息內(nèi)容清晰明了，但無(wú)法體現(xiàn)產(chǎn)品信息之間的聯(lián)系與差異，80％的網(wǎng)絡(luò)用戶不會(huì)查看搜索結(jié)果第三頁(yè)以后的內(nèi)容；樹(shù)型結(jié)構(gòu)能較好的體現(xiàn)層次關(guān)系，但產(chǎn)品分類都是事先設(shè)定的，用戶查找產(chǎn)品信息時(shí)往往需要按照固定的路徑查詢，缺乏靈活性。因此，為了幫助用

2、戶從搜索結(jié)果中篩選出真正感興趣的產(chǎn)品，必須設(shè)計(jì)出一種簡(jiǎn)潔、實(shí)用而又能快速準(zhǔn)確查找產(chǎn)品信息的查詢及瀏覽方式。 通過(guò)研究形式概念分析理論發(fā)現(xiàn)，概念格結(jié)構(gòu)實(shí)際上是一個(gè)概念間關(guān)系的網(wǎng)絡(luò)結(jié)構(gòu)，在這個(gè)網(wǎng)絡(luò)關(guān)系結(jié)構(gòu)中概念之間存在著一些隱含的直接或者間接關(guān)系，例如，上下層概念格節(jié)點(diǎn)之間的繼承關(guān)系、概念之間的二元關(guān)系、同一層概念格節(jié)點(diǎn)之間的關(guān)聯(lián)性等。如果將這些關(guān)系應(yīng)用到產(chǎn)品信息展示中，它不但實(shí)現(xiàn)了用戶興趣產(chǎn)品的表示，而且用戶除了能發(fā)現(xiàn)關(guān)注產(chǎn)品信息

3、，還能發(fā)現(xiàn)與這些信息相關(guān)聯(lián)的其他產(chǎn)品信息，提高了發(fā)現(xiàn)有用信息的準(zhǔn)確率的同時(shí)也豐富了檢索結(jié)果的相關(guān)內(nèi)容?；诖?，本文提出了形式概念分析理論與實(shí)際相結(jié)合的基于FCA的產(chǎn)品信息提取和結(jié)構(gòu)化顯示方法。 本文主要包含兩部分內(nèi)容，一部分是Web信息提取，另一部分是基于概念格的產(chǎn)品信息顯示及優(yōu)化策略。 信息提取部分的主要任務(wù)是從Web頁(yè)面中提取出產(chǎn)品信息的具體屬性內(nèi)容。本文采用基于正則表達(dá)式的信息提取方法從Web頁(yè)面的HTMI。代碼中

4、匹配獲取有關(guān)的數(shù)據(jù)?；谡齽t表達(dá)式的信息提取技術(shù)思路如下：首先從Web中獲取包含目標(biāo)信息的頁(yè)面：然后對(duì)Web頁(yè)面進(jìn)行解析，從而得到頁(yè)面對(duì)應(yīng)的HTML代碼；接著對(duì)Web頁(yè)面結(jié)構(gòu)進(jìn)行分析，編寫合適的正則表達(dá)式；最后對(duì)Web頁(yè)面進(jìn)行模式匹配，力圖使系統(tǒng)擁有自動(dòng)分析大部分網(wǎng)頁(yè)并提取和歸類保存其中用戶需求信息的功能。 基于概念格的產(chǎn)品信息顯示及優(yōu)化策略主要是利用概念格結(jié)構(gòu)中各個(gè)節(jié)點(diǎn)之間具有的偏序關(guān)系來(lái)表現(xiàn)同類產(chǎn)品之間的聯(lián)系與差異，為用戶的

5、購(gòu)買提供決策幫助。本文在這部分工作中，首先對(duì)概念格中存在的各種隱含關(guān)系進(jìn)行研究；然后根據(jù)概念格結(jié)構(gòu)特點(diǎn)提出了利用概念格結(jié)構(gòu)展示產(chǎn)品信息的觀點(diǎn)；由于概念格結(jié)構(gòu)不僅要能準(zhǔn)確的展示信息間的關(guān)聯(lián)，而且要能剔除不相關(guān)的信息以降低顯示復(fù)雜度、提高信息的可用性，提出了關(guān)鍵格及關(guān)鍵形式概念的定義，并給出了從關(guān)鍵格中挖掘核心形式概念的方法；挖掘出的核心概念在表示產(chǎn)品信息時(shí)是不同的具體的產(chǎn)品，通過(guò)屬性關(guān)聯(lián)性的度量方法，本文給出了度量不同產(chǎn)品之間的關(guān)聯(lián)程度的

6、方法。本文的主要貢獻(xiàn)如下： (1)利用正則表達(dá)式強(qiáng)大的信息匹配能力，對(duì)Web中的產(chǎn)品參數(shù)信息進(jìn)行有選擇的提取，從而得到用戶需要的結(jié)果。 (2)提出了使用概念格結(jié)構(gòu)展示產(chǎn)品信息的觀點(diǎn)，這種方式不僅僅能為用戶提供一個(gè)清晰的概念層次關(guān)系，方便用戶瀏覽和選擇感興趣的內(nèi)容，而且能清晰的表現(xiàn)信息之間的聯(lián)系與差異。 (3)提出了關(guān)鍵形式概念、關(guān)鍵格的定義以及從關(guān)鍵格結(jié)構(gòu)中挖掘核心形式概念的方法。 (4)提出一種基于屬性