基于時序文本挖掘的新聞內容理解與推薦技術研究.pdf

1、互聯網的誕生及發(fā)展，大大促進了信息的傳播。作為信息傳播的重要手段，網絡新聞在互聯網上扮演著非常重要的角色，已經成為網民最常使用的網絡應用之一。網絡新聞是網絡上發(fā)布的“新近發(fā)生的事實的報道”，它較傳統(tǒng)新聞傳播媒介在時效性、容量、豐富性、易交互性、易檢索性，以及多媒體化的呈現方式等方面都有巨大的優(yōu)勢，給人們的生活帶來了巨大的便利和幫助。當然，海量的網絡新聞也給人們帶來了信息過載問題。
　　 為了更好地滿足各類網絡用戶的需求，提升網絡

2、用戶的新聞獲取體驗，研究網絡新聞內容的自動理解及推薦技術具有重要的意義。所謂新聞內容理解，是指從大量的新聞數據中抽取出事先未知的、可理解的、最終可用的知識，同時利用這些知識更好地組織新聞以幫助用戶更好地獲取這些信息。而新聞推薦技術則通過分析網絡用戶的各類新聞閱讀行為，獲得用戶的喜好信息，結合對新聞內容的理解，向用戶推薦其可能感興趣的新聞。上述問題處理的大多是時序文本，涉及到時序文本挖掘技術的諸多方面。本文基于時序文本挖掘的相關技術，研究

3、新聞內容理解和推薦涉及的多個問題，并提出了解決方案，具體的工作如下：
　　 本文首先針對時序新聞數據集的事件檢測問題，提出了一種基于突發(fā)特征分析的新聞突發(fā)事件檢測方法。引入特征軌跡將構成時序新聞數據集的特征表示為時間序列；提出了一種特征軌跡小波域表示方法，并引入多尺度突發(fā)分析算法檢測突發(fā)特征及突發(fā)跨度；提出了一種基于近鄰傳播聚類算法的突發(fā)事件檢測算法，將特征突發(fā)模式的相似性、特征所在新聞的重合度、以及特征能量(表示特征的突發(fā)強度

4、)作為近鄰傳播算法的輸入，將突發(fā)特征聚類以構成事件，并引入事件能量衡量事件的突發(fā)水平。
　　 針對時序新聞的在線突發(fā)事件檢測問題，提出了一種在線的新聞突發(fā)事件檢測及其進化分析方法。引入一種多尺度滑動窗口實時監(jiān)控特征軌跡，并利用在線多尺度突發(fā)特征檢測方法檢測出當前時間窗口中具有不同突發(fā)跨度的突發(fā)特征；引入一個指數型的衰減因子衰減特征軌跡，并基于此計算突發(fā)特征之間的關聯度；同樣利用近鄰傳播聚類算法將突發(fā)特征聚類以檢測出突發(fā)事件，利用

5、能量衡量事件的突發(fā)水平；最后，提出了一種基于余弦相似度的信息檢索方法發(fā)現事件在時間軸上的進化過程。
　　 針對時序新聞突發(fā)事件檢測算法在實時性、準確率等方面存在的問題，進一步提出了一種基于假設檢驗的在線突發(fā)事件檢測方法。提出了一種基于隨機過程的特征數據流表示方法，并運用分布擬合檢驗及左邊檢驗檢測突發(fā)特征；分析突發(fā)特征的相關性，引入進化譜聚類算法將相關性較高的突發(fā)特征聚類以構成事件。算法具備更高的實時性，并能更準確地檢測某些突發(fā)特

6、征及事件。
　　 為了幫助人們更好地了解時序新聞，提出了一種時序新聞主題分解與摘要方法。在時序新聞的關鍵詞-句子關聯矩陣上應用非負矩陣分解(Non-negativeMatrix Factorization，即NMF)獲得子主題信息；通過分析非負矩陣分解獲得的編碼向量(encoding vector)，發(fā)現屬于每個子主題的事件，并為這些子主題及其包含的事件產生摘要；基于編碼矩陣對句子進行排序，選擇屬于每個子主題的排名最高的若干句子

7、作為該時序新聞的摘要。
　　 針對視障及老年人群的網絡新聞獲取需求，提出并實現了一個個性化的有聲網絡新聞推薦及綜合挖掘平臺。提出了一種個性化的有聲網絡新聞推薦的體系架構，支持各類終端通過HTTP協議獲取個性化的有聲新聞。該架構支持兩個層面的個性化，在提供新聞頻道自適應導航的同時，能夠根據用戶對于多類主題的興趣自動推送相關的新聞。最后設計并實現了該系統(tǒng)(簡稱網絡搜音機服務系統(tǒng))。除實現上述功能外，基于前述新聞內容理解的工作，系統(tǒng)還