基于VSM模型的文檔表示和貝葉斯網(wǎng)絡(luò)的軟傳感器研究.pdf

1、隨著社會(huì)現(xiàn)代化信息技術(shù)的快速發(fā)展，網(wǎng)絡(luò)信息資源飛速增加，大量的信息資源蘊(yùn)含著豐富的狀態(tài)信息，預(yù)示著社會(huì)、事件及環(huán)境可能的狀態(tài)變化，通過明確的指向性和目的性牽引著社會(huì)的改變，為人們的生活和工作帶來巨大的便利。但信息資源的增長也導(dǎo)致虛假信息的快速膨脹和人們獲取正確可靠的信息能力之間的矛盾日益突出。因而，如何有效地對(duì)復(fù)雜多變的狀態(tài)信息進(jìn)行可靠性預(yù)測，已經(jīng)逐漸成為人們關(guān)注的重點(diǎn)。
　　首先，由于狀態(tài)信息人多以網(wǎng)絡(luò)文檔的形式呈現(xiàn)，無法直接使

2、用計(jì)算機(jī)進(jìn)行處理，因而將網(wǎng)絡(luò)文檔轉(zhuǎn)化成計(jì)算機(jī)能夠處理的結(jié)構(gòu)是狀態(tài)信息可靠性預(yù)測的重要基礎(chǔ)與前提。針對(duì)網(wǎng)絡(luò)文檔結(jié)構(gòu)化問題，即文檔表示問題，先對(duì)文檔分類技術(shù)中向量空間模型的TF-IDF權(quán)重進(jìn)行研究。再針對(duì)TF-IDF權(quán)重中的特征項(xiàng)在類間分布以及關(guān)于文檔主旨的信息缺失，分別引入信息增益和文檔的全局權(quán)重進(jìn)行補(bǔ)充，完善和實(shí)現(xiàn)有效的文檔表示。在此基礎(chǔ)上，基于改進(jìn)的TF-IDF權(quán)重算法，建立一個(gè)網(wǎng)絡(luò)文檔表示系統(tǒng)，實(shí)現(xiàn)快速高效的大規(guī)模文檔表示。

3、　　其次，貝葉斯網(wǎng)絡(luò)是一個(gè)數(shù)據(jù)挖掘和不確定知識(shí)表示的理想模型，在目標(biāo)識(shí)別、不確定知識(shí)推理和預(yù)測等多方面產(chǎn)生了成功的應(yīng)用。同時(shí)，有別于處理向量化的物理數(shù)據(jù)的硬傳感器，針對(duì)由一維線性字符組成的網(wǎng)絡(luò)文檔，在對(duì)其結(jié)構(gòu)化的基礎(chǔ)上，建立基于貝葉斯網(wǎng)絡(luò)的狀態(tài)信息可靠性預(yù)測模型，即基于貝葉斯網(wǎng)絡(luò)的軟傳感器模型，幫助人們準(zhǔn)確地定位各種狀態(tài)信息的文檔集，并利用軟傳感器模型對(duì)網(wǎng)絡(luò)文檔描述的狀態(tài)信息的可靠性進(jìn)行有效的預(yù)測，為人們提供可靠的狀態(tài)信息支持。

4、　　最后，本文使用開源文檔集對(duì)改進(jìn)的TF-IDF特征項(xiàng)權(quán)重算法進(jìn)行測試，分析比較改進(jìn)算法的效果。另外，針對(duì)開源文檔集，構(gòu)建基于貝葉斯網(wǎng)絡(luò)的軟傳感器模型，分析比較由軟傳感器模型建立的文檔數(shù)據(jù)分布與文檔數(shù)據(jù)的真實(shí)分布，驗(yàn)證軟傳感器模型對(duì)于文檔數(shù)據(jù)分布的建模效果;同時(shí)對(duì)基于貝葉斯網(wǎng)絡(luò)的軟傳感器模型方法與統(tǒng)計(jì)分析方法的狀態(tài)信息可靠性預(yù)測進(jìn)行比較，證明軟傳感器模型在狀態(tài)信息可靠性預(yù)測方面的有效性。在此基礎(chǔ)上，使用對(duì)門戶網(wǎng)站自行采集的網(wǎng)絡(luò)文檔集，基