分布式存儲(chǔ)學(xué)習(xí)資料

1、VSAN 技術(shù)要點(diǎn)與最佳實(shí)踐,2016.03.13,黃釗,軟件定義的存儲(chǔ)：VSAN,2,,,VSAN的概述說明,,軟件定義的存儲(chǔ),效益 控制力 敏捷性,VMware 軟件定義的存儲(chǔ),3,為存儲(chǔ)帶來計(jì)算的運(yùn)營模式,抽象化與池化基礎(chǔ)架構(gòu)集成新的存儲(chǔ)層,以虛擬機(jī)為中心的數(shù)據(jù)服務(wù)第三方服務(wù)集成,基于通用策略的自動(dòng)化和編排,,LUN,LUN,LUN,LUN,LU

2、N,LUN,x86 服務(wù)器,聚合了虛擬化管理程序的存儲(chǔ)池,對象存儲(chǔ)池,云對象存儲(chǔ),無超額配置資源減少，時(shí)間也相應(yīng)減少易于改變,,今天,5.從預(yù)分配的容器中取用4.選擇適當(dāng)?shù)娜萜?.公開預(yù)分配的容器2.預(yù)分配靜態(tài)容器1.預(yù)定義存儲(chǔ)的配置,,1.定義存儲(chǔ)策略2.在虛擬機(jī)創(chuàng)建時(shí)應(yīng)用策略,VSAN,VSAN 共享數(shù)據(jù)存儲(chǔ),資源和數(shù)據(jù)服務(wù)自動(dòng)進(jìn)行調(diào)配和維護(hù),超額配置（防患于未然！）浪費(fèi)資源，浪費(fèi)時(shí)間頻繁的數(shù)據(jù)遷移,Virtu

3、al SAN 讓應(yīng)用做主,通過以應(yīng)用為中心的方法實(shí)現(xiàn)更簡單的自動(dòng)存儲(chǔ)管理,4,,VSAN 共享數(shù)據(jù)存儲(chǔ),,可簡化并自動(dòng)執(zhí)行存儲(chǔ)管理,5,從單個(gè)自調(diào)節(jié)的數(shù)據(jù)存儲(chǔ)滿足每虛擬機(jī)的存儲(chǔ)服務(wù)級別要求,容量,性能,可用性,按虛擬機(jī)設(shè)置的存儲(chǔ)策略,基于應(yīng)用需求的策略集,vSphere + VSAN,,SLA,軟件自動(dòng)控制服務(wù)級別,不再需要 LUN！,6,管理集群,,使用情形,軟件定義的存儲(chǔ)：VSAN,7,,,,軟件定義的存儲(chǔ),效益

4、 控制力 敏捷性,硬件要求,8,基于 VMware 的任意服務(wù)器兼容性指南,,至少 3 臺(tái) ESXi 5.5 主機(jī)，最多主機(jī)數(shù)“我將在稍后告訴您...”,網(wǎng)絡(luò),支持 1 GB/10 GB帶確保服務(wù)質(zhì)量的 NIOC 的 10 GB 共享網(wǎng)絡(luò)將支持大多數(shù)環(huán)境如果是 1 GB 網(wǎng)絡(luò)，則建議對 Virtual SAN 使用專用鏈路巨型幀將提供標(biāo)稱的性能提升針對全新部署啟

5、用Virtual SAN 同時(shí)支持 VSS 和 VDSNIOC 需要使用 VDSNexus 1000v – 應(yīng)該能用，但尚未進(jìn)行全面測試網(wǎng)絡(luò)帶寬性能對主機(jī)撤出、重建時(shí)間的影響高于對工作負(fù)載性能的影響,9,VSAN HCL,http://www.vmware.com/resources/compatibility/search.php?deviceCategory=vsan,CONFIDENTIAL,10,,,多級單元固態(tài)磁盤

6、或（最好是）PCIe 固態(tài)磁盤,SAS/NL-SAS 硬盤選擇 SATA 硬盤,,,vSphere 硬件兼容性列表上的 任何 服務(wù)器,* 注意：有關(guān)其他詳細(xì)信息，請參閱“Virtual SAN VMware 兼容性指南”頁面,,,6 GB 企業(yè)級 HBA/RAID 控制器,1,2,構(gòu)建您自己的節(jié)點(diǎn),VSAN 就緒的節(jié)點(diǎn),...正式發(fā)布時(shí)將提供由多家第三方供應(yīng)商組成的 10 種不同選項(xiàng),,能夠使用 VSAN 的預(yù)配置服務(wù)器..

7、.,...使用 VSAN 兼容性指南*,選擇各個(gè)組件...,兩種構(gòu)建 Virtual SAN 節(jié)點(diǎn)的方法,聚合了虛擬化管理程序的極其簡單的存儲(chǔ),Virtual SAN 實(shí)施要求,Virtual SAN 需要：采用集群配置，至少 3 臺(tái)主機(jī)3 臺(tái)主機(jī)都必須提供存儲(chǔ)vSphere 5.5 U1 或更高版本本地連接的磁盤磁盤（硬盤）基于閃存的設(shè)備（固態(tài)磁盤）網(wǎng)絡(luò)連接1 GB 以太網(wǎng)10 GB 以太網(wǎng)（首選）,12,,es

8、xi-01,本地存儲(chǔ),本地存儲(chǔ),本地存儲(chǔ),vSphere 5.5 U1 集群,esxi-02,esxi-03,,集群,HDD,HDD,HDD,Virtual SAN 構(gòu)造和項(xiàng)目,全新的 Virtual SAN 構(gòu)造、項(xiàng)目和術(shù)語：磁盤組VSAN 數(shù)據(jù)存儲(chǔ)對象組件Virtual SAN 網(wǎng)絡(luò),13,Virtual SAN 磁盤組,Virtual SAN 使用磁盤組這一概念將閃存設(shè)備和磁盤池化為一個(gè)管理構(gòu)造。磁盤組至少包含 1

9、個(gè)閃存設(shè)備和 1 個(gè)磁盤。閃存設(shè)備用于提供性能（讀緩存 + 寫緩沖區(qū)）。磁盤用于提供存儲(chǔ)容量。不能在沒有閃存設(shè)備的情況下創(chuàng)建磁盤組。,14,HDD,HDD,HDD,HDD,HDD,Virtual SAN 數(shù)據(jù)存儲(chǔ),Virtual SAN 是一種以文件系統(tǒng)的形式呈現(xiàn)給 vSphere 的對象存儲(chǔ)解決方案。該對象存儲(chǔ)裝載著集群中所有主機(jī)的 VMFS 卷，并將它們呈現(xiàn)為一個(gè)共享數(shù)據(jù)存儲(chǔ)。僅限該集群的成員才能訪問 Virtual S

10、AN 數(shù)據(jù)存儲(chǔ)。并非所有主機(jī)都需要提供存儲(chǔ)，但是建議提供存儲(chǔ)。,15,,,,,磁盤組,磁盤組,磁盤組,磁盤組,每臺(tái)主機(jī)：最多 5 個(gè)磁盤組。每個(gè)磁盤組：1 個(gè) SSD + 1 至 7 個(gè) HDD,磁盤組,VSAN 網(wǎng)絡(luò),VSAN 網(wǎng)絡(luò),VSAN 網(wǎng)絡(luò),VSAN 網(wǎng)絡(luò),VSAN 網(wǎng)絡(luò),HDD,HDD,HDD,HDD,HDD,Virtual SAN 對象,Virtual SAN 通過名為對象的靈活數(shù)據(jù)容器的形式管理數(shù)據(jù)。虛擬機(jī)文件即稱為

11、對象。虛擬機(jī)文件稱為對象。存在四種不同類型的虛擬機(jī)對象：虛擬機(jī)主目錄虛擬機(jī)交換文件VMDK快照虛擬機(jī)對象基于虛擬機(jī)存儲(chǔ)配置文件中定義的性能和可用性要求劃分為多個(gè)組件。,16,,,,,磁盤組,磁盤組,磁盤組,磁盤組,每臺(tái)主機(jī)：最多 5 個(gè)磁盤組。每個(gè)磁盤組：1 個(gè) SSD + 1 至 7 個(gè) HDD,磁盤組,VSAN 網(wǎng)絡(luò),VSAN 網(wǎng)絡(luò),VSAN 網(wǎng)絡(luò),VSAN 網(wǎng)絡(luò),VSAN 網(wǎng)絡(luò),HDD,HDD,HDD,HDD,H

12、DD,對象和組件布局,,17,,,,,VSAN 網(wǎng)絡(luò),VSAN 網(wǎng)絡(luò),VSAN 網(wǎng)絡(luò),VSAN 網(wǎng)絡(luò),VSAN 網(wǎng)絡(luò),,,,Virtual SAN 存儲(chǔ)對象,R1,R0,R0,R0,,,,,,,可用性定義為副本數(shù)量,低級存儲(chǔ)對象將駐留在不同的主機(jī)上,,VMFS,,VMFS,,VMFS,rolo2.vmdk,虛擬機(jī)主目錄對象格式化為 VMFS，以便在此對象上存儲(chǔ)虛擬機(jī)的配置文件。,性能可能會(huì)包括條帶寬度,,VMFS,,rolo1.vmd

13、k,rolo.vmx、.log 等,/vmfs/volumes/vsanDatastore/rolo/rolo.vmdk,,Virtual SAN 組件,Virtual SAN 組件是對象區(qū)塊，這些對象區(qū)塊跨集群中的多臺(tái)主機(jī)分布，以便容許同時(shí)發(fā)生多個(gè)故障并滿足性能要求。Virtual SAN 利用分布式 RAID 體系結(jié)構(gòu)將數(shù)據(jù)分發(fā)到整個(gè)集群中。組件的分布主要采用兩種技術(shù)：條帶化 (RAID0)鏡像 (RAID1)創(chuàng)建多少

14、組件副本將基于對象策略定義決定。,18,,,,,磁盤組,磁盤組,磁盤組,磁盤組,磁盤組,VSAN 網(wǎng)絡(luò),VSAN 網(wǎng)絡(luò),VSAN 網(wǎng)絡(luò),VSAN 網(wǎng)絡(luò),VSAN 網(wǎng)絡(luò),VSAN 數(shù)據(jù)存儲(chǔ),副本 1,副本 2,RAID1,HDD,HDD,HDD,HDD,HDD,,,,,,,,,Virtual SAN 可擴(kuò)展體系結(jié)構(gòu),19,縱向擴(kuò)展和橫向擴(kuò)展體系結(jié)構(gòu) – 精確的線性存儲(chǔ)、性能和計(jì)算擴(kuò)展能力按磁盤 – 擴(kuò)展容量按基于閃存的設(shè)備 – 擴(kuò)展

15、性能按磁盤組 – 擴(kuò)展性能和容量按節(jié)點(diǎn) – 擴(kuò)展計(jì)算容量,,,,,磁盤組,磁盤組,磁盤組,VSAN 網(wǎng)絡(luò),VSAN 網(wǎng)絡(luò),VSAN 網(wǎng)絡(luò),VSAN 數(shù)據(jù)存儲(chǔ),HDD,HDD,HDD,軟件定義的存儲(chǔ)：VSAN,20,,,VSAN的安裝配置,,軟件定義的存儲(chǔ),效益 控制力 敏捷性,配置 VMware Virtual SAN,極其簡單的配置過程,21,技術(shù)特征

16、,Virtual SAN 是集群級別的功能，類似于：vSphere DRSvSphere HAVirtual SAN通過 vSphere Web Client 從 vCenter 中進(jìn)行部署、配置和管理（絕無僅有?。?。極其簡單為 Virtual SAN 配置 VMkernel 接口通過單擊“Turn On”（打開）啟用 Virtual SAN,22,,啟用 Virtual SAN,一鍵搞定！

17、Virtual SAN 配置為“Automatic”（自動(dòng)）模式時(shí)，Virtual SAN 會(huì)申領(lǐng)所有空的本地磁盤以便創(chuàng)建分布式 VSAN 數(shù)據(jù)存儲(chǔ)。Virtual SAN 配置為“Manual”（手動(dòng)）模式時(shí)，管理員必須通過手動(dòng)選擇磁盤創(chuàng)建磁盤組來添加分布式 VSAN 數(shù)據(jù)存儲(chǔ)。,23,磁盤管理,集群中的每個(gè)主機(jī)創(chuàng)建一個(gè)或多個(gè)磁盤組，其中同時(shí)包含硬盤和固態(tài)磁盤。,24,容許的故障數(shù)量,容許的故障數(shù)量定義存儲(chǔ)對象能容許的主機(jī)、磁盤

18、或網(wǎng)絡(luò)故障的數(shù)量。若要容許“n”個(gè)故障，則要?jiǎng)?chuàng)建“n+1”個(gè)對象副本，并且需要“2n+1”臺(tái)主機(jī)提供存儲(chǔ)。,25,每個(gè)對象的磁盤條帶數(shù),每個(gè)對象的磁盤條帶數(shù)存儲(chǔ)對象的每個(gè)副本所跨的硬盤數(shù)。值越高，性能就越好。,26,Virtual SAN I/O 流 – 寫入確認(rèn),,VSAN 網(wǎng)絡(luò),vmdk,vmdk,esxi-01,esxi-02,esxi-03,esxi-04,VSAN 會(huì)將寫入 IO 鏡像到所有的活動(dòng)鏡像，并在這些寫入命中閃存

19、緩沖區(qū)時(shí)確認(rèn)寫入操作！,見證,降級為硬盤的操作在各主機(jī)中獨(dú)立執(zhí)行。,raid-1,Virtual SAN I/O 流 – 1 MB 增量的條帶化,,VSAN 網(wǎng)絡(luò),見證,esxi-01,esxi-02,esxi-03,esxi-04,條帶 1b,條帶 1a,1 MB(1),raid-0,raid-0,VSAN 默認(rèn)實(shí)施精簡配置，條帶以 1MB 的增量增長,raid-1,1 MB(3),1 MB(5),1 MB(2),1 MB(4),(

20、x) 表明條帶所在的段。,針對存儲(chǔ)功能的建議做法,29,虛擬機(jī)調(diào)配操作,所有虛擬機(jī)調(diào)配操作都需訪問虛擬機(jī)存儲(chǔ)策略,30,虛擬機(jī)調(diào)配操作,如果 Virtual SAN 數(shù)據(jù)存儲(chǔ)了解虛擬機(jī)存儲(chǔ)策略中的功能，則會(huì)將其顯示為匹配的資源。,31,虛擬機(jī)調(diào)配操作,如果 VSAN 數(shù)據(jù)存儲(chǔ)能夠滿足虛擬機(jī)存儲(chǔ)策略要求，則“VM Summary”（虛擬機(jī)摘要）選項(xiàng)卡會(huì)將虛擬機(jī)顯示為合規(guī)。,如果由于故障或強(qiáng)制調(diào)配功能而不能滿足策略要求，則會(huì)顯示為不

21、合規(guī)。,32,,,虛擬機(jī)策略管理,修改虛擬機(jī)性能、容量和可用性要求而不停機(jī)。,33,VMware Virtual SAN,恢復(fù)能力和故障場景,了解故障事件,Virtual SAN 可識(shí)別兩種不同類型的硬件設(shè)備事件以便定義故障場景的類型：缺失降級缺失事件會(huì)觸發(fā) 60 分鐘的恢復(fù)操作。Virtual SAN 會(huì)在開始恢復(fù)對象和組件之前等待 60 分鐘60 分鐘是所有缺失事件的默認(rèn)設(shè)置此值可通過主機(jī)高級設(shè)置來配置,35,了解故

22、障事件,降級事件會(huì)立即觸發(fā)恢復(fù)操作。立即觸發(fā)對象和組件的恢復(fù)操作不可配置如檢測到的以下任何 I/O 錯(cuò)誤始終會(huì)被視為降級：磁盤故障基于閃存的設(shè)備故障存儲(chǔ)控制器故障如檢測到的以下任何 I/O 錯(cuò)誤始終會(huì)被視為缺失：網(wǎng)絡(luò)故障網(wǎng)卡 (NIC)主機(jī)故障,36,故障處理原理,傳統(tǒng) SAN需要更換故障物理驅(qū)動(dòng)器才能恢復(fù)完全冗余預(yù)設(shè)有熱備盤以便立即接管故障磁盤的工作上述這兩種情況：均按 1:1 的比例更換磁盤Virt

23、ual SAN整個(gè)集群就是一個(gè)“熱備盤”，隨時(shí)都可恢復(fù)完全冗余當(dāng)某個(gè)磁盤發(fā)生故障時(shí)，許多小組件（對象的條帶或鏡像）就會(huì)發(fā)生故障這些組件的新副本可分布在集群各處以實(shí)現(xiàn)平衡更換物理磁盤只是增添了后備資源,管理故障場景,通過制定策略，Virtual SAN 上的虛擬機(jī)可以容許多種故障磁盤故障 – 降級事件固態(tài)磁盤故障 – 降級事件控制器故障 – 降級事件網(wǎng)絡(luò)故障 – 缺失事件服務(wù)器故障 – 缺失事件虛擬機(jī)可繼續(xù)運(yùn)行 并行

24、重建可最大限度減少性能影響固態(tài)磁盤故障 – 立即硬盤故障 – 立即控制器故障 – 立即網(wǎng)絡(luò)故障 – 60 分鐘主機(jī)故障 – 60 分鐘,38,磁盤故障 – 即時(shí)鏡像副本,降級 – 故障磁盤上所有受影響的組件都將立即在其他磁盤、磁盤組或主機(jī)上創(chuàng)建。,主機(jī)故障 – 60 分鐘延遲,缺失 – 在其他磁盤、磁盤組或主機(jī)上啟動(dòng)對象和組件的副本之前，將按默認(rèn)設(shè)置等待 60 分鐘。對集群總體計(jì)算和存儲(chǔ)容量的影響較大。,X,網(wǎng)絡(luò)故障 –

25、 60 分鐘延遲,缺失 – 在其他磁盤、磁盤組或主機(jī)上啟動(dòng)對象和組件的副本之前，將按默認(rèn)設(shè)置等待 60 分鐘。網(wǎng)卡故障、物理網(wǎng)絡(luò)故障可能導(dǎo)致網(wǎng)絡(luò)分區(qū)?？赡軙?huì)影響集群中的多臺(tái)主機(jī)。,X,Virtual SAN 訪問規(guī)則,組件訪問規(guī)則至少有一個(gè)鏡像備份是完整的所有條帶化必須都是完整的大于50%的組件必須是可用的包含witnesses,,1 Mirror Copy,,All stripes available,,> 50%

26、components and witnesses,,Power on Operation,Logic is implemented per object,Virtual SAN 1 臺(tái)主機(jī)被隔離 – HA 重啟,,VSAN 網(wǎng)絡(luò),vmdk,vmdk,見證,esxi-01,esxi-02,esxi-03,esxi-04,隔離！,HA 重啟,raid-1,vSphere HA 重啟虛擬機(jī),Virtual SAN 2 臺(tái)主機(jī)被隔離 – HA

27、重啟,,VSAN 網(wǎng)絡(luò),vmdk,vmdk,見證,esxi-01,esxi-02,esxi-03,esxi-04,隔離！,隔離！,HA 重啟,raid-1,vSphere HA 在 ESXi-02/ESXi-03 上重啟虛擬機(jī)，這些主機(jī)擁有超過 50% 的組件！,Virtual SAN 分區(qū) – 含 HA 重啟,,VSAN 網(wǎng)絡(luò),vmdk,vmdk,見證,esxi-01,esxi-02,esxi-03,esxi-04,分區(qū) 1,分區(qū) 2

28、,HA 重啟,vSphere HA 在分區(qū) 2 上重啟虛擬機(jī)，該分區(qū)擁有超過 50% 的組件！,raid-1,技術(shù)互操作性,Virtual SAN 與許多 VMware 存儲(chǔ)和 vSphere 可用性企業(yè)級功能全面集成。,46,軟件定義的存儲(chǔ)：VSAN,47,,,,軟件定義的存儲(chǔ),效益 控制力 敏捷性,Virtual SAN Datastore,分布式的d

29、atastore容量取決于 在vSphere Cluster中多臺(tái)主機(jī)上集合的可用磁盤組以及磁盤大小. 只有磁盤上的有效容量可以作為Virtual SAN datastore的使用容量. Flash設(shè)備容量專門作為Virtual SAN的cache容量.,,,,,,disk group,disk group,disk group,disk group,Each host: 5 disk groups max. Each disk g

30、roup: 1 SSD + 1 to 7 HDDs,disk group,VSAN network,VSAN network,VSAN network,VSAN network,VSAN network,HDD,HDD,HDD,HDD,HDD,磁盤組（Disk Groups）,由一個(gè)Flash設(shè)備(SAS/SATA/PCIe SSD)和一個(gè)或多個(gè)磁盤(SAS/SATA HDD)組成. Disk Groups 構(gòu)成了分布式的flash層

31、和VSAN Datastore的存儲(chǔ)容量層. Formatted with a modified on-disk file system (VMFS-L) and are then mounted onto the Object Store File System datastore as a single datastore VMFS-L on-disk file system formatting consumes a tota

32、l of 750 megabytes of capacity per disk.,Disk Group 規(guī)劃設(shè)計(jì),每個(gè)Disk Group一個(gè)Flash 設(shè)備多個(gè)flash設(shè)備, 多個(gè)disk groups 可以用來建立多個(gè)flash層Flash設(shè)備和磁盤比率越高，cache就越大. 定義和減少存儲(chǔ)故障范圍.,Flash 容量規(guī)劃與設(shè)計(jì),一般推薦：在考慮Number of Failures To Tolerate之后，Virtua

33、l SAN‘s flash容量為預(yù)期消耗存儲(chǔ)容量的10%. 總的Flash容量百分比應(yīng)該根據(jù)具體的使用場景及相應(yīng)的容量和性能要求而定. 10% 是一般推薦, 可以調(diào)整.,目標(biāo)（Objects）,獨(dú)立的SCSI兼容的存儲(chǔ)塊設(shè)備.每一個(gè)Virtual SAN datastore中的目標(biāo)石油多個(gè)組件（component）構(gòu)成.目標(biāo)（Object）通過VM Storage Profiles 均被設(shè)定了存儲(chǔ)性能和可用性相關(guān)的服

34、務(wù)指標(biāo).,,組件（Components）,目標(biāo)（Objects）由分布在一個(gè)vSphere Cluster中的主機(jī)上的組件 （components ）構(gòu)成. Virtual SAN 5.5 當(dāng)前支持最大每臺(tái)主機(jī)3000 components. 大于255 gigabytes的目標(biāo) （object）會(huì)自動(dòng)地分成多個(gè)組件（components）.每個(gè)組件（component）會(huì)為Metedate消耗2 megabytes 磁盤空間.,

35、,見證（Witness）,見證組件（Witness components）是每個(gè)存儲(chǔ)目標(biāo)的一部分. 只包含object metadata. 作為一個(gè)附加屬性存在：為避免分割，在一個(gè)Virtual SAN cluster內(nèi)設(shè)定好可用性測略后. 每個(gè)Virtual SAN witness component同樣會(huì)消耗 2 megabytes 存儲(chǔ)容量.,Virtual SAN Datastore大小考慮因素,很重要的一點(diǎn)：了解存儲(chǔ)容量

36、的消耗對可用性和性能方面的影響. Number of Failures to TolerateNumber of Disk Stripes per ObjectFlash Read Cache ReservationObject Space Reservation,,,,允許的故障次數(shù)（Number of Failures to Tolerate）,在Virtual SAN中，存儲(chǔ)容量消耗的最大影響. 根據(jù)虛擬機(jī)的可用性要求,

37、 VM Storage Policy的相關(guān)設(shè)定會(huì)導(dǎo)致最高4倍虛擬機(jī)存儲(chǔ)容量的消耗,2 full copies of data + 1 witness,沒給目標(biāo)磁盤條帶化數(shù)量（Number of Disk Stripes Per Object）,如果每個(gè)Object的磁盤條帶化數(shù)量按默認(rèn)的“1”進(jìn)行增長，每個(gè)條帶會(huì)被當(dāng)作一個(gè)獨(dú)立的組件（component）.這是每臺(tái)主機(jī)支持的最大數(shù)量的組件情況的影響數(shù)據(jù).,內(nèi)存和CPU,Virtual

38、SAN的內(nèi)存要求一般取決于有Hypervisor管理的磁盤組和磁盤數(shù)量. 只要vSphere hosts內(nèi)存大于, 就可以支持VirtualSAN所能支持的最大磁盤組和磁盤配置.Virtual SAN 本身設(shè)計(jì)為不會(huì)消耗每臺(tái)主機(jī)CPU資源的10%的負(fù)載. 因此，可以在高整合比，及CPU密集型應(yīng)用的場景使用Virtual SAN.,網(wǎng)絡(luò),Virtual SAN 網(wǎng)絡(luò)活動(dòng)，尤其是在進(jìn)行重構(gòu)或同步操作時(shí)可能會(huì)對1GbE 的網(wǎng)絡(luò)形成極大

39、的壓力. 在有網(wǎng)絡(luò)資源緊張的場景下，通過不同的VLAN，隔離不同的網(wǎng)絡(luò)流量 (Management, vMotion, Virtual Machine, Virtual SAN) ，或者采用QoS服務(wù)保證性能. Virtual SAN需要在2層支持 IP多播（multicast）一時(shí)鮮Virtual SAN 通信,VSAN測試最佳實(shí)踐,CONFIDENTIAL,60,IOMeter測試,61,最新版本下載： http://so

40、urceforge.net/projects/iometer/Iometer.org 已過時(shí)。注意測試壓力測試文件并發(fā)壓力壓力IO數(shù),測試文件,二個(gè)關(guān)鍵參數(shù) (Maximum Disk Size and Starting disk sector) 決定測試文件大小 (iobw.tst)。e.g: If both “Starting disk sector” and “Maximum Disk Size” are 10000

41、00, as each disk sector has 512B (0.5KB) capacity, a (1000000*2*0.5 KB) 1GB test file is generated. 大文件的100%隨機(jī)訪問需要更多的訪問時(shí)間。Experiment ( block size: 4Kb, run time 20 minutes, file size: 1GB / 10GB / 50GB),62,并發(fā)壓力,In IOMe

42、ter : thread = worker增加Worker數(shù)量增加大壓力每個(gè)VM上多Worker數(shù)多 VMExperiment ( block size: 4Kb, run time 20 minutes, 50% Read, 50% Random),63,壓力IO,每個(gè)Worker 的異步IO數(shù)。默認(rèn)為1值太小，可根據(jù)硬件性能進(jìn)行調(diào)整注意調(diào)整值，太高會(huì)使Windows掛起或死機(jī)。,64,VSphere/VSAN 配置推薦

43、,65,PVSCSI 控制器,默認(rèn)的LSI logic SAS性能不如PVSCSI。更好的傳輸性與更低的CPU利用率。LSI logic SAS 在大負(fù)載的情況性能下降。PVSCSI 有更好的表現(xiàn)。,66,Component 分布,盡可能認(rèn)負(fù)載分布在多個(gè)SSD/HDD上。影響因素: FTT (容錯(cuò)數(shù)) / Stripe Width條帶化 / Disk capacity 磁盤容量在不同的磁盤組上虛擬磁盤上增加負(fù)載可獲得更好的性能,

44、67,Storage Policy (Stripe width),VSAN的存儲(chǔ)策略 (default 1, max 12)。可改變組件的分布。對SSD 到HDD的寫入性能有顯著提高。Experiment ( a 4-node cluster, 4 disk groups) :,68,網(wǎng)絡(luò)帶寬,VSAN中, 小于256GB的虛擬磁盤有二個(gè)拷貝和1個(gè)見證。1個(gè)拷貝在主機(jī)1 ( Host 1). 另1 個(gè)拷貝在主機(jī) ( Host

45、 2). 主機(jī)上Host 3 上是見證。網(wǎng)絡(luò)數(shù)據(jù)流:Read : IOPS * block size / 2 ≈ bandwidth.Write : IOPS * block size ≈ bandwidth.,69,,,Read : Remote -> LocalWrite : Local -> Remote,軟件定義的存儲(chǔ)：VSAN,70,,,,軟件定義的存儲(chǔ),效益

46、 控制力 敏捷性,,VSAN6.2的新功能介紹,IT 基礎(chǔ)架構(gòu)邁向Server SAN和超融合架構(gòu),71,Source: IDC Hyperconverged Systems 2015-2019 Forecast,1 Wikibon Server SAN Research Project 2014,,Enterprise Server SAN CAGR1: 44.2%,60%

47、CAGR,,,,,最廣泛的部署選項(xiàng),72,基于業(yè)界領(lǐng)先的 VMware 超融合軟件 (HCS) 而構(gòu)建,經(jīng)認(rèn)證的解決方案,精心打造的設(shè)備,,Virtual SAN 就緒節(jié)點(diǎn),EVO SDDC 集成系統(tǒng),經(jīng)認(rèn)證的合作伙伴硬件,NSX,vRealize,EMC 聯(lián)盟 HCI 設(shè)備,VMware HCSVirtual SAN + vSphere + vCenter,VMware HCSVirtual SAN + vSphere + vC

48、enter,VMware HCSVirtual SAN + vSphere + vCenter,EVO SDDC Manager,EVO SDDC 軟件,已更新,僅部分地區(qū)供應(yīng),設(shè)備軟件,即將推出,更多客戶愿意借助 VMware HCS而不是競爭產(chǎn)品來部署 HCI,,3000+,超過3000多客戶選擇VMware HCS,,,,,,,,,,,,,74,極簡的數(shù)據(jù)中心基礎(chǔ)架構(gòu),極其簡單,,,>100,經(jīng)過預(yù)先認(rèn)證的就緒節(jié)點(diǎn),

49、1 個(gè),集成軟件體系,,<1ms,全閃存系統(tǒng)延遲,>100K,每個(gè)節(jié)點(diǎn)的 IOPS,,14 倍,Virtual SAN 總存儲(chǔ)使用率提高,50%,TCO 更低,,1 個(gè),適合關(guān)鍵業(yè)務(wù)應(yīng)用、Openstack 和容器的平臺(tái),>7M,每個(gè)集群的 IOPS,最高的性能,,最低的成本,任何應(yīng)用、任何規(guī)模,,為何這些選擇 VMware HCS – VSAN ？,14倍,,,,《ZDNet-至頂網(wǎng)》VMware Virtua

50、l SAN 6.1評獲2015年存儲(chǔ)虛擬化解決方案VMware Virtual SAN 6.1 Wins "Best Shared Storage Solution in 2015" Award,《中國信息發(fā)展研究院》VMware Virtual SAN 6.1榮膺中國軟件和信息服務(wù)虛擬化領(lǐng)域最佳產(chǎn)品獎(jiǎng)VMware Virtual SAN 6.1 Awarded "China’s Best Vi

51、rtualization Product",《中小企業(yè)IT采購》雜志VMware Virtual SAN 榮膺2015最受中小企業(yè)信賴的品牌和產(chǎn)品VMware Virtual SAN Wins "The Most Trusted Brand by SMEs in 2015" Award,2015年VSAN在中國榮獲多項(xiàng)大獎(jiǎng),VMware VSAN簡介,76,77,. . .,,軟件定義的存儲(chǔ)針對虛擬機(jī)進(jìn)

52、行了優(yōu)化超融合體系架構(gòu)（分布式，橫向和縱向擴(kuò)展）可在任何標(biāo)準(zhǔn)x86服務(wù)器上運(yùn)行將HDD/SSD池化為共享數(shù)據(jù)存儲(chǔ)提供企業(yè)級的高可用性、可擴(kuò)展性和性能基于策略的自動(dòng)化，滿足SLA，可按虛機(jī)甚至vmdk級別的顆粒度設(shè)置存儲(chǔ)策略與VMware產(chǎn)品體系深度集成,Overview,Virtual SAN Datastore,vSphere + Virtual SAN,,,,,,,,,,. . .,VMware VSAN,專為虛擬化環(huán)境

53、設(shè)計(jì)的超融合軟件（HCS）,,VMware VSAN 可隨時(shí)用于所有 vSphere 工作負(fù)載,VMware vSphere + Virtual SAN,,ROBO,,生產(chǎn)前調(diào)試,,管理,,DMZ,,,,,,,適用于虛擬機(jī)的最佳存儲(chǔ),,針對 vSphere 優(yōu)化,,企業(yè)級恢復(fù)能力,,關(guān)鍵業(yè)務(wù)應(yīng)用就緒,VSAN 6.2 九大特性,79,VSAN 6.2的九大特性,80,第 4 代 Virtual SAN 具有重要的新功能特性,特性一和特性

54、二：去重和壓縮（提高空間效率）,僅支持全閃存按照磁盤組的級別，實(shí)現(xiàn)近線的去重和壓縮 提高空間效率磁盤組越大，去重比率越高去重和壓縮在集群級別激活當(dāng)數(shù)據(jù)從緩存層De-staging（刷新）到持久化層時(shí)實(shí)現(xiàn)去重，在去重后實(shí)現(xiàn)壓縮去重在緩存寫確認(rèn)后執(zhí)行固定大小的塊去重 (4KB 數(shù)據(jù)塊)在VSAN Stretched Cluster和ROBO方式下也支持去重和壓縮,81,Beta,,esxi-01,esxi-02,esxi-0

55、3,vmdk,vmdk,,,,vSphere & Virtual SAN,vmdk,,,,,,,,,All Flash Only,去重（ Deduplication )原理， 壓縮(Compression)注意問題,82,壓縮(Compression) 4KB is the block size for deduplication. For each unique 4k block compression would be

56、 performed and if the output block size is less than or equal to 2KB, a compressed block would be saved in place of the 4K block. If the output block size is greater than 2KB, the block would be written uncompressed and

57、tracked as such. The reason is to avoid block alignment issues, as well as reduce the CPU hit for decompressing the data which is greater than compression for data with low compression ratios. All of this data reduction

58、 is after the write acknowledgement. 15% at most less than 5% greater resource usage.,去重（ Deduplication ),特性三 糾刪碼： RAID-5 Erasure Coding,“FTT=1” 高可用性 ? RAID-53+1 (最少4臺(tái)主機(jī)，并非4的倍數(shù)，而是4臺(tái)或更多即可)1.33倍的開銷，以往的開銷是兩倍以往20GB數(shù)據(jù)消耗40G

59、B空間, 現(xiàn)在約為27GB可以實(shí)現(xiàn)在vmdk的顆粒度上，在VMware SPBM（基于存儲(chǔ)策略的管理）里設(shè)置不支持VSAN Stretched Cluster,83,RAID-5,,All Flash Only,特性三 糾刪碼： RAID-6 Erasure Coding,“FTT=2” 的高可用性 ? RAID-64+2 (最少6臺(tái)主機(jī))1.5倍的開銷，以往的開銷是3倍以往20GB數(shù)據(jù)消耗60GB空間, 現(xiàn)在約為30GB可

60、以實(shí)現(xiàn)在vmdk的顆粒度上，在SPBM里設(shè)置不支持VSAN Stretched Cluster,84,,All Flash Only,RAID-6,Erasure Coding (糾刪碼),85,K 是數(shù)據(jù)， M是糾碼。 K+M= 節(jié)點(diǎn)（磁盤數(shù)）,,Raid6,86,D+P+Q,87,特性三： VMware 存儲(chǔ)策略 里可按vmdk設(shè)置Erasure Coding,空間效率,88,顯著提高空間效率: 14倍！,89,,50%,與混合競

61、爭產(chǎn)品相比，全閃存每 GB 成本減少,2 倍,14 倍,,14 倍,存儲(chǔ)效率，無折中,* 通過重復(fù)數(shù)據(jù)消除和壓縮而實(shí)現(xiàn)的改進(jìn)會(huì)因工作負(fù)載不同而異。 VDI 完整克隆測試的結(jié)果。,,特性四：IOPS限制（QoS）,90,New in 6.2,基于每個(gè)虛機(jī)或每個(gè)vmdk，能以可視化的圖形界面來設(shè)置IOPS的限制值一鍵即可設(shè)置消除noisy neighbor（相鄰干擾）的不利影響可以在vmdk的顆粒度上滿足性能的服務(wù)等級協(xié)議（SLA）

62、，在SPBM里設(shè)置在一個(gè)集群/存儲(chǔ)池，可以為不同虛機(jī)/vmdk，提供不同的性能，將原本可能相互影響的負(fù)載區(qū)分開來用戶在圖形界面中，可以看到每個(gè)vmdk的IOPS值，并通過顏色(綠色,黃色,紅色)判斷實(shí)際IOPS與IOPS限制值的關(guān)系計(jì)算IOPS時(shí)，包括vmdk及其快照的讀寫操作,,,,,,,,…,vSphere + Virtual SAN,vSphere & Virtual SAN,91,特性四： VMware 存儲(chǔ)策略

63、里可按vmdk設(shè)置IOPS Limit,注意：默認(rèn)IO塊大小是32K, 所以當(dāng)設(shè)置為500IOPS時(shí)，實(shí)際對說64K塊來說，只有250 IOPS,性能服務(wù)-提供圖形方式觀察,92,特性五： 支持純IPv6網(wǎng)絡(luò),概覽在僅有IPv6的模式下運(yùn)行。所有網(wǎng)絡(luò)通信都通過IPv6網(wǎng)絡(luò)通過圖形界面設(shè)置VSAN支持L2或L3組播通過HealthUI進(jìn)行管理/監(jiān)控支持IPv4 & IPv6 混合模式的升級好處滿足那些想遷往IPv6的

64、客戶需求 (例如，政府, 服務(wù)提供商)配合vSphere支持IPv6,VSAN network,VSAN network,VSAN network,支持純IPv4網(wǎng)絡(luò)或IPv6網(wǎng)絡(luò),New in 6.2,,,,vSphere & Virtual SAN,,Virtual SAN Datastore,New in 6.2,特性六： Software Checksum（軟件校驗(yàn)和）,94,概覽數(shù)據(jù)的端到端校驗(yàn)，檢測并解決靜默磁盤

65、錯(cuò)誤軟件校驗(yàn)和在集群級別默認(rèn)是開啟的，可以通過存儲(chǔ)策略在vmdk級別關(guān)閉在后臺(tái)執(zhí)行磁盤掃描（Disk Scrubbing）如果通過校驗(yàn)和驗(yàn)證發(fā)現(xiàn)了錯(cuò)誤，則重建數(shù)據(jù)基于4K的塊大小采用CRC32算法（CPU開銷小）好處提供更高的數(shù)據(jù)完整性自動(dòng)檢測和解決靜默磁盤錯(cuò)誤（silent disk errors）,Virtual SAN,,95,特性六： VMware 存儲(chǔ)策略 里可按vmdk設(shè)置Software Checksum,

66、特性七：詳細(xì)的性能監(jiān)控集成到vSphere Web Client里,性能監(jiān)控,容量監(jiān)控,96,New in 6.2,性能無縫集成在vSphere Web Client里，提供歷史和實(shí)時(shí)的圖表，并且可設(shè)置時(shí)間范圍過濾的圖表。性能監(jiān)控允許從vCenter監(jiān)控現(xiàn)有的工作負(fù)載，包括宏觀視圖：集群延時(shí)、帶寬和IOPS）；以及細(xì)顆粒度的視圖：每個(gè)磁盤，每個(gè)磁盤組，每個(gè)物理盤（包括緩存層和持久化層），每個(gè)虛機(jī)，每個(gè)vmdk；以及緩存命中率。性能監(jiān)控

67、的數(shù)據(jù)，以分布式方式存放在VSAN上。,VSAN Performance Monitoring - Cluster wide Performance (IOPS, latency, Throughput),,VSAN Performance monitoring: Individual VSAN Host,,VSAN Performance Monitoring: Individual Disk,,Q1 2016 Roadmap,VSA

68、N Performance Monitoring: Individual Disk Group,,VSAN Performance Monitoring: Individual Virtual Machine,,Q1 2016 Roadmap,VSAN Performance Monitoring: Individual Virtual Disk,,特性八：健康檢查（Health Check）集成到vSphere Web Client內(nèi)