基于TFS的分布式文件存儲平臺研究與實現(xiàn).pdf

1、隨著互聯(lián)網的迅猛發(fā)展，以文本、音頻、圖片等數(shù)據(jù)為代表的非結構化數(shù)據(jù)呈現(xiàn)爆炸式增長，面對這個問題，分布式文件存儲技術應運而生。淘寶自行研發(fā)文件的存儲框架（TFS），其高效率、高容錯性、高并發(fā)性使得它能夠處理海量的小文件存儲。但是分布式文件存儲系統(tǒng)搭建，存在浪費時間、金錢和精力的問題，不能適應現(xiàn)在高速發(fā)展的互聯(lián)網行業(yè)。因此本課題以TFS文件存儲為基礎，研究并實現(xiàn)了一個穩(wěn)定、高效、安全的分布式文件存儲平臺，給第三方應用提供穩(wěn)定的存儲服務，具有

2、重要的應用價值。主要工作如下：
　　首先，針對現(xiàn)在海量小文件存儲中遇到的問題，提出了基于TFS的分布式文件存儲解決方案，并設計了高效的分布式存儲體系，主要包括平臺Web端、核心數(shù)據(jù)緩存集群、文件管理服務集群、數(shù)據(jù)庫和TFS數(shù)據(jù)存儲集群。
　　其次，提出了支持事務的文件存儲模型TSP（File StoragePlatform），該模型由底向上分為TFS數(shù)據(jù)存儲層、文件管理層和訪問接口層。事務操作由上到下映射到TFS數(shù)據(jù)存儲層，