數(shù)字電視中非結(jié)構(gòu)化信息管理研究.pdf

1、隨著數(shù)字電視的普及，數(shù)字電視節(jié)目越來越多，因此如何有效地在大量電視節(jié)目中快速找到用戶喜歡看的節(jié)目成為一個(gè)緊迫的研究任務(wù)，一種有效的辦法是對(duì)文本進(jìn)行索引。 通常的結(jié)構(gòu)化數(shù)據(jù)庫和全文索引都不適合對(duì)數(shù)字電視節(jié)目描述文本作索引。傳統(tǒng)的數(shù)據(jù)庫不適合管理非結(jié)構(gòu)化文本，而通常的全文索引也不適合面向嵌入式的媒體信息管理的需要。因?yàn)槿乃饕谐Ｓ玫牡古潘饕Ｐ托枰獙?duì)文本進(jìn)行分詞，而日文分詞工具（Chasen）空間開銷較大（23M），而且無法抽取表

2、征文本含義的詞，這樣勢必造成對(duì)很多無意義的詞作索引，開銷很大。另外，由于數(shù)字電視節(jié)目更新很快，對(duì)其管理需要具有較好的動(dòng)態(tài)性能，而通常國內(nèi)外對(duì)索引的動(dòng)態(tài)更新研究還較少。 本文對(duì)文本檢索中的檢索模型、分詞工具和索引的動(dòng)態(tài)更新策略進(jìn)行了研究并且提出了一種具有一定特征提取功能并適合嵌入式的日文分詞工具和一種具有良好動(dòng)態(tài)性能的復(fù)合更新策略。本文的主要研究內(nèi)容和成果包括如下： 1.比較研究了文本索引中常用標(biāo)引技術(shù)和檢索模型。

3、 2.根據(jù)適合嵌入式和特征提取的需要，提出了一種規(guī)則結(jié)合詞典的分詞方法。 3.在分詞詞典部分，改進(jìn)了一種三級(jí)的結(jié)構(gòu)，在詞表部分采用多個(gè)文件存儲(chǔ)不同長度的詞，減小了詞表的開銷，并對(duì)該結(jié)構(gòu)的詞典構(gòu)造和查找算法進(jìn)行了研究。 4.在文本索引部分，研究了索引的在線更新方法，對(duì)合并更新、插入更新和國外最近提出的復(fù)合更新等策略在大量數(shù)據(jù)下的性能進(jìn)行了分析，提出了一種結(jié)合插入更新和合并更新優(yōu)點(diǎn)并采用多級(jí)結(jié)構(gòu)的改進(jìn)復(fù)合更新策略。并使用磁盤