關(guān)于詞頻倒排文檔頻公式的修正.pdf

1、向量空間模型(VSM)是文本信息處理的經(jīng)典模型，它把文本用向量表示，以特征項(xiàng)的權(quán)值作為分量，這個(gè)架構(gòu)很大程度上提高了信息處理的性能。模型中廣泛用到的計(jì)算特征項(xiàng)權(quán)值的公式是標(biāo)準(zhǔn)化的詞頻倒排文檔頻(TFIDF)公式。 研究發(fā)現(xiàn)，向量空間模型并不是一個(gè)完善的模型，其最大的缺陷是假設(shè)特征項(xiàng)之間是相互獨(dú)立的。這使得用向量空間模型表示文本集時(shí)，很可能造成信息遺漏或冗余。此外TFIDF公式同樣不夠準(zhǔn)確，它簡(jiǎn)單地認(rèn)為特征項(xiàng)權(quán)值與包含該特征項(xiàng)的文

2、檔數(shù)成反比，而沒(méi)有考慮特征項(xiàng)分布的比例情況。 本文使用中文信息處理工具從中文文本集中抽取詞條，并通過(guò)知網(wǎng)系統(tǒng)把詞條空間映射到概念空間。用概念代替詞條作為特征項(xiàng)的方法間接達(dá)到了降維目的，并在很大程度上消除了向量空間模型特征項(xiàng)之間的相關(guān)性。 文本的一個(gè)主要研究?jī)?nèi)容是對(duì)TFIDF公式進(jìn)行修正。基于分布比例高的特征項(xiàng)具有較高的貢獻(xiàn)度和特征項(xiàng)在文本集中分布越離散則代表性越強(qiáng)這兩方面的考慮，本文構(gòu)造了一個(gè)平衡因子BF，并將其加權(quán)到T