大規(guī)模高密度異構(gòu)無線網(wǎng)建設(shè)挑戰(zhàn)與思考

1、大規(guī)模、高密度、多廠商無線網(wǎng)建設(shè)的挑戰(zhàn)與思考,北京大學(xué)計(jì)算中心 張蓓zb@pku.edu.cn2016年10月27日,我們的問題,遍地都是無線網(wǎng)，還是連不上，被學(xué)生頻吐槽，為什么？校長忘了登網(wǎng)關(guān)，無法看論文，抱怨無線網(wǎng)不好使，為什么？無線信號(hào)好強(qiáng)，微信總在轉(zhuǎn)，好慢，為什么？學(xué)校投了好多錢，師生還是不滿意，校長苦惱，我們抱屈IT狗必須認(rèn)真思考！,2,無線網(wǎng) ≠ 連網(wǎng)線 + 分地址！,我們的目標(biāo),拒絕連不上！拒絕被擠掉！

2、拒絕反復(fù)登錄！像機(jī)場酒店一樣使用便利！像有線一樣穩(wěn)定流暢！,3,使用WiFi像使用4G一樣方便！,我們的挑戰(zhàn),需要提供無窮多的IP地址，可是全球IP地址已于2011年告罄移動(dòng)終端頻繁申請IP地址，你的DHCP無法承受業(yè)界各款認(rèn)證技術(shù)與計(jì)費(fèi)無關(guān)，校園網(wǎng)無法簡單落地你無法保證校園網(wǎng)只用一個(gè)無線品牌，一走就掉線,4,理想很豐滿，現(xiàn)實(shí)很骨感！,快速發(fā)展的無線網(wǎng)：北京大學(xué)編年史,5,增加60倍,特點(diǎn),規(guī)模大覆蓋樓宇多、AP數(shù)量多用

3、戶多、終端多、流量大密度高教室、圖書館學(xué)生宿舍大禮堂、體育館品牌多管理平臺(tái)多、控制器多互相不兼容,6,何謂大規(guī)?！狝P數(shù)量多,樓宇數(shù)量大一般采用分期分批建設(shè)不同階段覆蓋方案不同早期，一般是重點(diǎn)區(qū)域覆蓋新建，一般是全面覆蓋 大規(guī)模分階段覆蓋品牌多，網(wǎng)管平臺(tái)多控制器多，AP多,7,何謂大規(guī)模——在線用戶數(shù)量大,8,約3.3萬人,何謂大規(guī)?！獰o線增長快,9,無線略多,1 : 3,何謂大規(guī)模——流量

4、大,10,無線網(wǎng)絡(luò)萬兆出口1：學(xué)生宿舍區(qū),無線網(wǎng)絡(luò)萬兆出口2：辦公與教學(xué)區(qū),5.7G,1.5G,挑戰(zhàn),用戶拿不到地址，上課登不上無線，學(xué)生抱怨大用戶數(shù)量增長快，行為差異大，如何調(diào)整地址分配策略地址總變，需要反復(fù)登錄，上網(wǎng)感受差多廠商之間不漫游，感覺總斷網(wǎng)同廠商控制器之間也不能漫游，并不像吹的那么美好花架子，性能壓力大，大規(guī)模下無法啟用Aruba最多支持1000-2000個(gè)用戶漫游上網(wǎng)登錄頁面不自動(dòng)彈出，上網(wǎng)感受差哪種登錄

5、方式都不完美802.1x：不開放，無法與計(jì)費(fèi)網(wǎng)關(guān)聯(lián)動(dòng)，欠費(fèi)打不開，改密碼后會(huì)出錯(cuò)Portal：依賴控制器，依賴客戶端，有時(shí)彈不出，無法跨廠商,11,拒絕連不上、被踢掉，像有線一樣穩(wěn)定流暢！,要有足夠的IP地址要有科學(xué)合理的IP地址分配策略要有堅(jiān)實(shí)魯棒的DHCP服務(wù)器要有精細(xì)的AP數(shù)量設(shè)計(jì)和位置設(shè)計(jì)，減少信號(hào)干擾要有良好的無線主干網(wǎng)設(shè)計(jì)和AC控制器設(shè)計(jì)，保障流量暢通,12,IP地址的挑戰(zhàn),DHCP的地址池多大合適？有線網(wǎng)絡(luò)

6、傳統(tǒng)的設(shè)計(jì)，通常與以太網(wǎng)的沖突域相關(guān)，一般為1-2個(gè)C利用新興的技術(shù)手段，例如大二層、端口隔離等，可以突破沖突域的限制，可以設(shè)計(jì)為4個(gè)C，16個(gè)C，甚至1個(gè)B無線網(wǎng)絡(luò)根據(jù)用戶量分析，一般按照用戶數(shù)量的1.5-2倍設(shè)計(jì)地址池,13,DHCP Pool的演變歷史,2002-2006年，起步階段用戶量較小，因此和有線網(wǎng)絡(luò)采用了同樣的策略公有地址，在校園網(wǎng)現(xiàn)有地址段里劃出若干個(gè)C（不連續(xù)，沒有規(guī)律）公共教室、圖書館和公共區(qū)域，單

7、獨(dú)為無線網(wǎng)絡(luò)分配地址段，1C/Pool部分科研辦公樓，不區(qū)分有線IP和無線IP，混用，1C/PoolLease時(shí)間，一般與有線網(wǎng)絡(luò)相同，4個(gè)小時(shí)；2007-2009年，公共區(qū)域、教室樓全面部署高密度無線用戶量逐漸增多，上大課出現(xiàn)用戶拿不到IP地址現(xiàn)象公有地址，規(guī)劃出64個(gè)連續(xù)的IPv4地址，專用于無線網(wǎng)絡(luò)公共教室、圖書館、公共區(qū)域，按樓層分配地址段，例如：二教4個(gè)Pool， 1C/Pool隨著用戶量逐漸增加，為保證vlan

8、 id不變，逐步擴(kuò)展到2C/Pool考慮到更好的利用地址池，lease時(shí)間逐漸從4小時(shí)、2小時(shí)，縮短到1小時(shí),14,DHCP Pool的演變歷史,2010-2014年，用戶數(shù)量激增2011年5月—9月，北京大學(xué)校園網(wǎng)內(nèi)出現(xiàn)的用戶終端統(tǒng)計(jì)，無線用戶占總用戶數(shù)量的51.6%，有線用戶和無線用戶數(shù)量對比發(fā)生反轉(zhuǎn)公有地址，專門申請了1個(gè)B的IP地址，專用于無線網(wǎng)絡(luò)公共教室、圖書館和公共區(qū)域，4C/Pool科研辦公樓，2C/Pool學(xué)

9、生宿舍樓無線方案測試，初期1個(gè)樓4個(gè)C，后期部分宿舍樓分配8個(gè)CLease時(shí)間：由于用戶越來越多，需要的IP地址也逐步增加，為了更合理地利用1個(gè)B的地址空間，因此嘗試對DHCP服務(wù)器進(jìn)行代碼修改，對lease時(shí)間進(jìn)行階梯型增加：第一次30分鐘；第二次60分鐘，第三次120分鐘把移動(dòng)用戶僅僅因?yàn)槁愤^而拿到的地址盡快釋放出來，從而達(dá)到節(jié)省IP地址的目標(biāo)后續(xù)ISC DHCP的新版本也支持了這項(xiàng)特性,15,DHCP Pool的演變歷

10、史,2015-2016年，人均終端數(shù)增長明顯根據(jù)網(wǎng)管數(shù)據(jù)計(jì)算，人均1.25個(gè)終端，目前仍在逐步擴(kuò)大中每間宿舍1個(gè)面板AP，宿舍晚間IP地址需求量巨大公共教室、圖書館、公共區(qū)域全面升級改造，用戶量增加2015年8月無線全面改為私有地址，并根據(jù)功能區(qū)劃分地址公共教室、圖書館、學(xué)生宿舍和公共區(qū)域，4C/Pool科研辦公樓，2C/PoolLease時(shí)間，考慮到私有地址空間較大，目前l(fā)ease時(shí)間改為固定的1小時(shí)既考慮到合理利

11、用地址空間，也考慮到盡快釋放已離開終端占用的地址對DHCP服務(wù)器的性能提出了很高的要求,16,北京大學(xué)無線網(wǎng)絡(luò)IP地址分配的歷史,17,2002年—2015年無線網(wǎng)絡(luò)采用公有地址（115.27.0.0/24）,北京大學(xué)無線網(wǎng)絡(luò)IP地址分配情況（2016年10月）,18,大規(guī)模IP地址管理的挑戰(zhàn),無線用戶的終端，特別是手機(jī)的大量出現(xiàn)，對DNS的查詢壓力明顯增加手機(jī)的移動(dòng)性特征，對DHCP產(chǎn)生了大量無效租約信息過快的在不同D

12、HCP Pool之間移動(dòng)會(huì)造成IPv4地址快速消耗需要DHCP服務(wù)器能夠識(shí)別客戶端增加安全性能夠快速釋放租約保證IP地址的活躍有效同時(shí)具有高性能LPS，保證在快速釋放租約的同時(shí)保證可靠的性能,19,IP地址的管理,IP地址的管理幾個(gè)方面DNSDHCPIPAM ，IP Address Management引入新名詞：DDIGartner在2009年的報(bào)告中，強(qiáng)調(diào)「核心網(wǎng)絡(luò)服務(wù)」的重要性。在這份Report當(dāng)中在首先

13、提出DDI 這個(gè)名詞，來代表這個(gè)市場 DNS，DHCP & IP Address Management (IPAM) – DDI,20,DDI——通常存在的問題,使用ISC 提供DNS Bind/DHCP的開源服務(wù)器，單臺(tái)服務(wù)器性能有限多臺(tái)DNS服務(wù)器（無線網(wǎng)絡(luò)3臺(tái)），在負(fù)載均衡后面，隨時(shí)監(jiān)控系統(tǒng)狀態(tài)，當(dāng)某一單機(jī)DNS出現(xiàn)性能問題時(shí)，重啟單臺(tái)DNS服務(wù)進(jìn)程多組DHCP服務(wù)器（雙機(jī)Failover機(jī)制），負(fù)責(zé)校園無線網(wǎng)絡(luò)（2組

14、）+備份（1組）DDI整體管理效率問題DHCP、DNS、IP管理系統(tǒng)由分別由不同老師各自進(jìn)行管理，整體管理效率有待提高部分院系部署并管理自己的DNS，各院系管理參差不齊的管理水平容易導(dǎo)致DNS遭受安全攻擊IP地址管理較為混亂主要通過Excel電子表格，由多個(gè)網(wǎng)絡(luò)管理員進(jìn)行管理,21,高性能的DDI統(tǒng)一管理平臺(tái),22,統(tǒng)一管理DNS兩臺(tái)高性能DNS硬件服務(wù)器，采用HA架構(gòu)，對外虛擬成一臺(tái)統(tǒng)一的DNS服務(wù)器，具備安全防護(hù)機(jī)制

15、根據(jù)型號(hào)不同，QPS：40K-200K,統(tǒng)一管理DHCP兩臺(tái)高性能DHCP硬件服務(wù)器，采用HA架構(gòu)，對外虛擬成一臺(tái)統(tǒng)一的DHCP服務(wù)器根據(jù)型號(hào)不同，LPS：60-1000,統(tǒng)一管理平臺(tái)統(tǒng)一的管理平臺(tái)，實(shí)現(xiàn)DNS、DHCPv4、DHCPv6、IP地址管理，管理簡單化廠商：Bluecat、Infoblox等,無線網(wǎng)準(zhǔn)入認(rèn)證的挑戰(zhàn)和解決方案,多廠商、多控制器無線網(wǎng)準(zhǔn)入認(rèn)證的主要問題多廠商之間支持方式不同同廠商之間版本不同，支持方

16、式不同802.1x問題Portal問題自主研發(fā)線網(wǎng)準(zhǔn)入認(rèn)證網(wǎng)關(guān)技術(shù)優(yōu)勢完全透明，與設(shè)備無關(guān)，廣納天下賢能，招誰都不怕可與計(jì)費(fèi)網(wǎng)關(guān)聯(lián)動(dòng)，支撐個(gè)性化計(jì)費(fèi)政策支持自動(dòng)彈出認(rèn)證Portal，兼容性好，符合用戶使用習(xí)慣,23,無線漫游和無感知認(rèn)證的挑戰(zhàn),大規(guī)模無線網(wǎng)絡(luò)的提供，用戶可以隨時(shí)隨地的獲得無線信號(hào)，必然要求不間斷的上網(wǎng)體驗(yàn)。不間斷，意味用戶認(rèn)證需要保持兩方面的不間斷：無線網(wǎng)絡(luò)的用戶準(zhǔn)入+校園出口的準(zhǔn)出與計(jì)費(fèi),24

17、,無線漫游的挑戰(zhàn),每一廠商都有無線漫游的解決方案，但實(shí)際情況是：控制器之間漫游，限制太多，無法實(shí)現(xiàn)控制器軟件版本的一致AP的硬件問題，版本低不支持新型號(hào)AP，版本高不支持老型號(hào)AP控制器的硬件問題，老控制器有一個(gè)版本的上限，新控制器有一個(gè)版本的下限分階段購買的AP和控制器，無法保證在統(tǒng)一的版本上不一致的軟件版本，只能實(shí)現(xiàn)有限的漫游功能控制器配置的一致為保證在不同控制器上實(shí)現(xiàn)漫游，必須把所有配置（SSID、VLAN）等

18、信息都配置在所有控制器上，造成控制器的配置復(fù)雜，每一個(gè)細(xì)微參數(shù)的修改，都可能要求所有控制器一起修改，配置管理成本很高,25,無線漫游的挑戰(zhàn),每一廠商都有無線漫游的解決方案，但實(shí)際情況是：控制器之間漫游，要求太多，無法實(shí)現(xiàn)用戶漫游在控制器之間交換用戶信息量巨大小規(guī)模用戶情況下，在控制器之間交互單一或少量用戶數(shù)據(jù)的機(jī)制是可行的大規(guī)模用戶情況下，控制器要交換、保留所有的用戶認(rèn)證數(shù)據(jù)，數(shù)據(jù)量太大，對每個(gè)控制器的壓力都會(huì)很大實(shí)際的測試

19、效果，在不同的硬件控制器之間的用戶信息交換，一般可以維持在在1000-2000個(gè)終端左右主流廠商都有各自無線漫游的解決方案，但是：各自為政，互不相通，沒有統(tǒng)一標(biāo)準(zhǔn),26,無線漫游的出路,通過上面的分析得出結(jié)論單一廠商的無線漫游和無感知，不靠譜跨廠商的無線漫游和無感知，就沒有只能靠自己想辦法，提出解決方案,27,拒絕重復(fù)登錄，無感知認(rèn)證的挑戰(zhàn)和解決方案,自主研發(fā)了跨平臺(tái)無感知認(rèn)證系統(tǒng)技術(shù)優(yōu)勢全校漫游，再也無需重復(fù)登錄完全

20、透明，與設(shè)備無關(guān)，廣納天下賢能，招誰都不怕優(yōu)異的可擴(kuò)展性，可代管其他院系的控制器，全校無感知每個(gè)月重新登錄一次，周期可調(diào)整，平衡安全和便利的關(guān)系,28,無線網(wǎng)絡(luò)的用戶準(zhǔn)入,用戶認(rèn)證相關(guān)技術(shù)Portal+自動(dòng)跳轉(zhuǎn)無論是PC或者手機(jī)，通過瀏覽器跳轉(zhuǎn)都是簡單的做法，但是有可能第一個(gè)發(fā)起http請求的是后端的應(yīng)用程序或者APP，跳轉(zhuǎn)頁面可能并不能彈出瀏覽器進(jìn)行用戶認(rèn)證；未來大量的連接是https，很難進(jìn)行https劫持采用Capt

21、ive Portal，iOS系統(tǒng)可以自動(dòng)跳轉(zhuǎn)到認(rèn)證界面，Andriod系統(tǒng)依賴于不同手機(jī)廠家的具體實(shí)現(xiàn)。有的彈出認(rèn)證界面，有的給出一個(gè)系統(tǒng)通知，而有的完全沒有反應(yīng),29,無線網(wǎng)絡(luò)的用戶準(zhǔn)入,用戶認(rèn)證相關(guān)技術(shù)802.1x在系統(tǒng)端可以很好的完成準(zhǔn)入認(rèn)證，多廠商對于Radius支持也較好，用戶準(zhǔn)入沒有問題；802.1x是基于二層的認(rèn)證，而校園準(zhǔn)出是基于IP地址的，如果和準(zhǔn)出聯(lián)動(dòng)，實(shí)現(xiàn)校園準(zhǔn)出的無感知還需要其他系統(tǒng)配合連動(dòng)，成本較高

22、802.11u和WiFi聯(lián)盟Passport基于MAC地址,30,無線網(wǎng)絡(luò)的用戶準(zhǔn)入,用戶可選擇的登錄方式登錄Web Portal客戶端廠商客戶端：僅支持本廠商的設(shè)備，跨廠商無法實(shí)現(xiàn)；第三方客戶端或自建的客戶端：需要維護(hù)多個(gè)版本：Windows、MacOS、iOS、Andriod、各種linux無論是自己編程、還是購買，后期升級維護(hù)成本都很高無感知認(rèn)證完全依賴于廠商實(shí)現(xiàn)，跨廠商沒有標(biāo)準(zhǔn)，無法實(shí)現(xiàn),31,校園出口

23、的準(zhǔn)出及計(jì)費(fèi),大部分的用戶認(rèn)證計(jì)費(fèi)系統(tǒng)是基于IP地址的一旦IP地址發(fā)生變化，用戶需要重新認(rèn)證大規(guī)模無線網(wǎng)絡(luò)的提供，用戶可以隨時(shí)隨地的獲得無線信號(hào)，必然要求不間斷的上網(wǎng)體驗(yàn)。不間斷意味著（無線準(zhǔn)入+出口準(zhǔn)出）都不斷。出口準(zhǔn)出不間斷要求：IP地址不變，用戶與IP地址對應(yīng)關(guān)系保持不變或者在地址變化時(shí)，動(dòng)態(tài)修改用戶與IP地址的對應(yīng)關(guān)系,32,無線網(wǎng)自動(dòng)IP地址授權(quán)系統(tǒng)AIA,校園網(wǎng)無線用戶每次連接Wireless PKU后，都需

24、要通過網(wǎng)頁或者客戶端程序認(rèn)證才可以使用無線網(wǎng)。為了改善用戶上網(wǎng)體驗(yàn)，提出了采用DHCP觸發(fā)機(jī)制實(shí)現(xiàn)基于MAC地址的無感知認(rèn)證解決方案，可以讓用戶只需一次登錄，就可以持續(xù)一段時(shí)間內(nèi)（比如：1個(gè)自然月）無需認(rèn)證就可以直接使用無線網(wǎng)絡(luò)。,33,自動(dòng)IP地址授權(quán)的原理,基于DHCP服務(wù)器觸發(fā)的AIA觸發(fā)器：一旦DHCP服務(wù)器中IP地址租用發(fā)生變化，就會(huì)調(diào)用觸發(fā)器將相關(guān)信息發(fā)送給AIA代理服務(wù)。AIA代理服務(wù)：接收AIA觸發(fā)器關(guān)于IP地

25、址變更信息，根據(jù)AIA注冊數(shù)據(jù)庫中的信息決定是否自動(dòng)開通相應(yīng)IP地址的聯(lián)網(wǎng)權(quán)限。AIA注冊數(shù)據(jù)庫：保存移動(dòng)終端MAC地址注冊數(shù)據(jù)，包括UID、有效期、聯(lián)網(wǎng)權(quán)限等。AIA注冊服務(wù)：實(shí)現(xiàn)MAC地址注冊信息的增加、刪除、查詢等功能。 AIA自動(dòng)注冊服務(wù)：通過無線網(wǎng)絡(luò)認(rèn)證的日志信息，自動(dòng)注冊移動(dòng)終端的MAC地址。,自動(dòng)IP地址授權(quán)的優(yōu)勢,技術(shù)優(yōu)勢完全透明，與設(shè)備無關(guān)，廣納天下賢能，招誰都不怕可與計(jì)費(fèi)網(wǎng)關(guān)聯(lián)動(dòng)，支撐個(gè)性化計(jì)費(fèi)政

26、策支持自動(dòng)彈出認(rèn)證Portal，兼容性好，符合用戶使用習(xí)慣目前服務(wù)覆蓋區(qū)域公共區(qū)域、部分教學(xué)區(qū)、部分科研辦公區(qū)使用效果良好,35,超高密度無線網(wǎng)的挑戰(zhàn)和解決方案,主要任務(wù)：邱德拔體育館無線網(wǎng)建設(shè)我們的失敗2015年開學(xué)典禮設(shè)計(jì)：采用了72個(gè)內(nèi)置全向天線的AP，均勻部署在觀眾區(qū)中間單臺(tái)AP實(shí)際測試的接入能力都超過150個(gè)終端，計(jì)劃單AP覆蓋100個(gè)終端 實(shí)際效果：在線終端數(shù)到達(dá)1500臺(tái)時(shí)，就再也升不上去了

27、 測試分析：離AP距離1-5排，基本可以獲得地址，可以上網(wǎng)，速度很慢；超過5排，信號(hào)滿格，基本無法獲得地址，即使獲得地址，也無法上網(wǎng),36,超高密度無線網(wǎng)的挑戰(zhàn)和解決方案,主要問題密度問題終端密度——用戶終端基數(shù)大、密度超高，發(fā)射功率不受控制，產(chǎn)生的沖突難以有效避免AP密度——數(shù)量較多、密度較高，場地開闊，使用全向天線AP難以有效控制沖突域頻譜資源2.4G頻段——僅有3個(gè)可用信道，超高密度部署時(shí)難以有效避免同頻干擾；非Wi

28、-Fi干擾（藍(lán)牙、無線麥克風(fēng)等）難以避免5G頻段——中國大陸目前有13個(gè)可用信道，是超高密度無線網(wǎng)絡(luò)的首選,37,超高密度無線網(wǎng)的挑戰(zhàn)和解決方案,主要問題接入速率低速率接入相對擴(kuò)大了AP的覆蓋范圍，提高了信道使用率、擴(kuò)大了沖突域關(guān)閉低速率連接用戶限速單用戶限速，避免個(gè)別用戶長時(shí)間占用帶寬和信道資源，保證所有用戶可以公平使用網(wǎng)絡(luò),38,超高密度無線網(wǎng)的挑戰(zhàn)和解決方案,我們的成功經(jīng)驗(yàn)指導(dǎo)思想——5G為主，2.4G輔助通過SS

29、ID的設(shè)置引導(dǎo)用戶使用5GWireless PKU，原有SSID，在場館內(nèi)只面向5G用戶Wireless PKU-2.4G，新增SSID，只面向2.4G用戶使用定向天線，有效控制沖突域降低AP功率、關(guān)閉802.11b，縮小單顆AP覆蓋范圍，進(jìn)一步控制沖突域手動(dòng)規(guī)劃信道，最大限度減少同頻干擾、鄰頻干擾單用戶限速,39,超高密度無線網(wǎng)的挑戰(zhàn)和解決方案,我們的成功經(jīng)驗(yàn),40,2016年7月5日，本科生畢業(yè)典禮簽到3000人，終端

30、總數(shù)2945（98.2%），峰值在線終端2300，傳輸170GB2016年7月6日，研究生畢業(yè)典禮簽到4300人，終端總數(shù)3398（79.0%），峰值在線終端2700，傳輸300GB2016年9月5日，開學(xué)第一課第一場：峰值在線終端2314，第二場：峰值在線終端33272016年9月6日，開學(xué)第一課第三場：峰值在線終端31192016年9月9日，開學(xué)典禮現(xiàn)場7000人，終端總數(shù)5569（79.6%），峰值在線終端

31、4530，傳輸150GB,超高密度無線網(wǎng)的挑戰(zhàn)和解決方案,我們的成功經(jīng)驗(yàn)看臺(tái)覆蓋方案利用看臺(tái)間的欄桿固定AP及天線，根據(jù)看臺(tái)各區(qū)域座椅分布情況，選擇不同夾角的定向天線定向天線的夾角決定了天線的安裝位置——前后放置或左右放置根據(jù)看臺(tái)固有的坡度調(diào)整天線角度，避免信號(hào)被靠近天線的觀眾遮擋,41,超高密度無線網(wǎng)的挑戰(zhàn)和解決方案,我們的成功經(jīng)驗(yàn)看臺(tái)覆蓋方案,42,超高密度無線網(wǎng)的挑戰(zhàn)和解決方案,我們的成功經(jīng)驗(yàn)場地覆蓋方案AP吸頂安裝