面向文件集流式處理的事務模型及其應用.pdf

1、對文件集進行流式處理，是將具有樹狀結構的文件集合轉化為線性結構的數(shù)據(jù)塊序列進行處理，這包括對樹狀結構的后續(xù)遍歷和對單個文件的流式處理。這種方式非常適合于對數(shù)據(jù)進行一系列預定義運算的應用，例如數(shù)據(jù)壓縮、加密、索引、統(tǒng)計和數(shù)據(jù)同步。然而，在一個包含大量文件的處理任務被意外中斷后，流式處理無法做到從中斷點附近接著運行該任務，而是必須從頭開始。我們希望流式處理能從中斷時刻前最近的一個文件開始，恢復執(zhí)行任務。
　　 在流式處理過程中，一份

2、獨立的文件會被分割成多個更小的數(shù)據(jù)塊來進行處理，這些數(shù)據(jù)塊有次序地快速通過若干處理單元；當最后一個數(shù)據(jù)塊以及它之前的所有數(shù)據(jù)塊都被處理完畢時，該獨立文件才算被處理完畢。這個過程與數(shù)據(jù)庫中事務的處理過程類似。一個獨立的事務由多個串行執(zhí)行的操作組成，該事務執(zhí)行成功，當且僅當其包含的最后一個操作以及它之前的所有操作都執(zhí)行成功。通過事務機制，數(shù)據(jù)庫系統(tǒng)可以處理對數(shù)據(jù)的操作被中斷的情況，并維持數(shù)據(jù)的一致性和可用性。因此，本文將數(shù)據(jù)庫中的事務機制引

3、入流式處理模型，通過將數(shù)據(jù)處理任務“事務化”，即把對一個獨立文件的處理作為一個事務看待，使得流式處理模型能夠恢復執(zhí)行被中斷的任務。
　　 本文先簡單介紹了文件集流式處理的應用現(xiàn)狀，接著通過半形式化方法，給出一個已有的文件集流式處理系統(tǒng)的模型——SPM-FS模型的詳細描述，并分析了它在處理被中斷任務時的不足；然后，將數(shù)據(jù)庫中的事務概念引入到文件集的流式處理中，改進SPM-FS模型，提出了一個支持事務功能、可以恢復執(zhí)行被中斷任務的文