基于模糊邏輯和神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)及文本挖掘的方法研究.pdf

1、數(shù)據(jù)挖掘和文本挖掘是當前信息技術(shù)中的一個重要研究領(lǐng)域； 將模糊邏輯理論應(yīng)用于數(shù)據(jù)及文本挖掘方法研究,具有較大的理論意義和實用價值.本文研究了基于模糊邏輯和神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘和文本挖掘方法,所做主要工作內(nèi)容包括: 采用自組織特征映射(SOFM)網(wǎng)絡(luò)來自動確定樣本數(shù)據(jù)隸屬函數(shù),并根據(jù)相似性的概念,給出了相似度的計算公式,結(jié)合Apriori算法,提出了一種挖掘模糊相似關(guān)聯(lián)規(guī)則的新算法. 針對傳統(tǒng)的模糊聚類需要預(yù)先確定聚

2、類數(shù)的問題,提出一種新的動態(tài)模糊聚類的方法.該方法采用動態(tài)自組織映射神經(jīng)網(wǎng)絡(luò)來確定聚類數(shù).,并通過文本向量空間模型和TF·IDF方法來確定文本的特征向量,再將動態(tài)自組織映射神經(jīng)網(wǎng)絡(luò)得到的聚類數(shù),用模糊C均值算法(FCM)函數(shù)處理,得到聚類的結(jié)果.本算法具有聚類精度高的優(yōu)點,模糊聚類更適合處理語義的多樣性和文本歸屬的模糊性的問題. 提出了一種新的動態(tài)模糊自組織神經(jīng)網(wǎng)絡(luò)模型(DFKCN),并將其用于文本聚類中.針對傳統(tǒng)模糊自組織神經(jīng)

3、網(wǎng)絡(luò)需要預(yù)先確定聚類數(shù)的問題, DFKCN采用了可自動確定聚類數(shù)的動態(tài)自組織神經(jīng)網(wǎng)絡(luò)(TGSOM)的結(jié)構(gòu),在DFKCN網(wǎng)絡(luò)結(jié)構(gòu)中提出新的學(xué)習(xí)率計算公式,并以模糊聚類中心作為DFKCN網(wǎng)絡(luò)中對應(yīng)的神經(jīng)元的權(quán)值,從而提高了聚類的精度,并可提高收斂速度.將DFKCN模型應(yīng)用到中文文本聚類中,文本的特征向量的表示采用隱含語義分析理論,以體現(xiàn)特征詞的語義關(guān)系并實現(xiàn)特征詞的降維. 提出了一種新的模糊競爭神經(jīng)網(wǎng)絡(luò)聚類模型(NFCNNC),并將

4、其應(yīng)用到文本聚類中.NFCNNC將模糊中心聚類(FCC)算法得到的模糊聚類中心向量作為神經(jīng)網(wǎng)絡(luò)的權(quán)值,獲勝神經(jīng)元通過比較隸屬度值得到.按照FCC算法調(diào)整模糊聚類中心向量值(即權(quán)值)和神經(jīng)元的隸屬度,當網(wǎng)絡(luò)穩(wěn)定時,即可確定聚類數(shù).NFCNNC具有結(jié)構(gòu)簡單,運行效率高,聚類精度高的優(yōu)點,同時克服了傳統(tǒng)算法需預(yù)先指定聚類數(shù)的局限性. 提出一種新的模糊文本關(guān)聯(lián)規(guī)則挖掘算法(NFAR)和文本關(guān)鍵字的獲得方法,當文本集中存在大量文本,傳統(tǒng)的

5、模糊關(guān)聯(lián)規(guī)則中的支持度的計算公式不再適用,因而提出新的支持度計算公式.通常用的關(guān)聯(lián)規(guī)則在涉及語義問題時,會有冗余規(guī)則,隸屬函數(shù)是預(yù)先指定的,引入模糊聚類可克服上述問題:根據(jù)TF IDF首先計算文本特征詞的權(quán)重,然后計算文本的平均權(quán)重作為閾值,權(quán)重大于閾值的特征詞作為該文本的關(guān)鍵字,將關(guān)鍵字的權(quán)重劃分成三個屬性:高、中、低.利用模糊c均值對關(guān)鍵詞的權(quán)重進行聚類.再出NFAR算法抽取出文本關(guān)聯(lián)規(guī)則.NFAR算法具有運算效率高,規(guī)則的精度高的