樂視和小米基于openstack云計算方案

1、樂視云計算基于樂視云計算基于OpenStack的IaaS實(shí)踐實(shí)踐[日期：20150922]來源：KVM虛擬化實(shí)踐作者：[字體：大中小]本文作者岳龍廣，現(xiàn)在就職于樂視云計算有限公司，負(fù)責(zé)IaaS部門的工作。從開始工作就混在開源世界里，在虛擬化方面做過CloudStackOvirt開發(fā)，現(xiàn)在是做以O(shè)penStack為基礎(chǔ)的樂視云平臺。所以對虛擬化情有獨(dú)鐘，也對虛擬化云計算的未來充滿了信心。樂視網(wǎng)的所有服務(wù)是跑在樂視云上的，樂視云提供所有的底

2、層支撐，包括IaaSPaaSStageCDN等等。為了帶給用戶更好的體驗(yàn)，樂視網(wǎng)的服務(wù)到哪，樂視云的底層服務(wù)就會跟到哪。其中虛擬化是必不可少的部分，它的快速提供、按需分配、資源隔離顯得特別重要，但我們會遇到什么問題呢今天的主要目的是分享我們在OpenStack項(xiàng)目中做的一部分工作，它們解決了內(nèi)部的一些需求，也是實(shí)際經(jīng)驗(yàn)，希望對大家有所啟發(fā)。開始之前首先感謝肖總、浩宇、vict等朋友給予的大力支持，感謝群友、技術(shù)愛好者的圍觀。很榮幸有這次

3、機(jī)會來與大家做這個分享。提綱：1.IaaSArchitecture2.OpenStackDeploy&QOS3.MultipleRegions4.LeTVLBaaS5.DEV樂視云計算IaaS的基本架構(gòu)首先就是介紹一下樂視云計算基礎(chǔ)架構(gòu)，再介紹OpenStack網(wǎng)絡(luò)組件的部署，MultipleRegions是什么樣子的，更方便于使用的LeTVLBaaS，最后是開發(fā)上線流程。樂視云計算IaaS采用了OpenStack和Ceph的開源方案，

4、為樂視提供了云主機(jī)、虛擬網(wǎng)絡(luò)、云硬盤和S3對象存儲。Icehouse版本采用了Neutron，再做足調(diào)研的前提下，我們對Neutron做了大量的減法，所用服務(wù)僅為NeutronServer和OpenvSwitchAgent，控制節(jié)點(diǎn)部署NeutronServer(withML2plugin)，計算節(jié)點(diǎn)部署OpenvSwitchAgent。沒有網(wǎng)絡(luò)節(jié)點(diǎn)，因而沒有用到DHCPAgent，L3agent和MetadataAgent。物理網(wǎng)絡(luò)使

5、用VLAN做隔離。由于Region數(shù)量較多，每個region有不同的物理網(wǎng)絡(luò)(對應(yīng)ml2_conf中的physical_wk字段)，可以緩解VLAN數(shù)量的限制。私有云環(huán)境通過ConfigDrive配置虛擬機(jī)網(wǎng)卡和metadata，PublicIP地址直接配在虛擬機(jī)網(wǎng)卡上，走物理路由器。無論是novawk還是neutron，我們都采用了穩(wěn)定可靠的網(wǎng)絡(luò)，由于不存在網(wǎng)絡(luò)節(jié)點(diǎn)的單點(diǎn)問題，因此集群在滿足私有云的需求前提下，兼顧了可靠性、穩(wěn)定性和可

6、擴(kuò)展性。優(yōu)點(diǎn)：簡單穩(wěn)定，性能更好，這也是業(yè)務(wù)最需要的，線上業(yè)務(wù)穩(wěn)定、可用性是最重要的。缺點(diǎn)：犧牲了靈活性，和物理網(wǎng)絡(luò)的耦合度高為了防止某個虛擬機(jī)負(fù)載過高而影響其它虛擬機(jī)或者宿主機(jī)，我們做了了CPU，wk和DiskIO的QoS，其中Cpu的QoS采用cgroup實(shí)現(xiàn)，虛擬機(jī)網(wǎng)卡的QoS通過TC實(shí)現(xiàn)。一開始我們采用了cgroup限制DiskIO，由于ceph采用了Nonhostblock，故cgroup無法限制基于ceph的DiskIO因此

7、我們采用了qemuiothrottling。和cgroup相比，qemuiothrottling不僅僅能支持nonhostblockIO，同時限速的效果也更為出色，限速后，虛擬機(jī)的IO不會有太大抖動。此外，如果基于cgroup的DiskIO設(shè)置過小，會導(dǎo)致虛擬機(jī)刪除失敗。原因在于qemu提交的DirectIO必須完成后才能退出，使用過小的磁盤帶寬導(dǎo)致此動作需很長時間才能完成，導(dǎo)致qemu進(jìn)程不能及時響應(yīng)libvirt發(fā)出的SIGTERM