大廠(chǎng)DCN網(wǎng)絡(luò)的前世

大廠(chǎng)DCN以龐大且常年穩(wěn)定持續(xù)的需求量，理所當(dāng)然作為設(shè)備廠(chǎng)商當(dāng)今的頭牌金主甲方。

前世還應(yīng)該去上一任甲方班主金融行業(yè)里找找，比如ServerFarm服務(wù)器“雞場(chǎng)”，畫(huà)面感撲面而來(lái)，相比之下，DCN這名字顯得太抽像了。

從比例上來(lái)說(shuō)，DCN的部署密度至少是金融行業(yè)ServerFarm的20倍以上。

ServerFarm是散養(yǎng)雞場(chǎng)，DCN則是頂級(jí)養(yǎng)殖企業(yè)那種格子化密集雞場(chǎng)，盡顯工業(yè)化的魅力。

大廠(chǎng)DCN網(wǎng)絡(luò)的今生

各個(gè)大廠(chǎng)DCN目標(biāo)以最小公倍數(shù)的方式歸納：容納高密度的服務(wù)器、要求滿(mǎn)足業(yè)務(wù)隨意部署、單點(diǎn)故障止損要快、TCO成本要低、不能讓交付效率成為日活月活爆發(fā)的障礙。

在這些約束條件的作用下，DCN都會(huì)長(zhǎng)成這個(gè)樣子↓

一、接入交換機(jī)

通常會(huì)按在線(xiàn)和離線(xiàn)業(yè)務(wù)區(qū)分DC園區(qū)，通常經(jīng)濟(jì)發(fā)達(dá)圈區(qū)都是離最終用戶(hù)時(shí)延小的在線(xiàn)DC，電和地都便宜的偏遠(yuǎn)地區(qū)主要放離線(xiàn)。

▌在線(xiàn)業(yè)務(wù)

在線(xiàn)業(yè)務(wù)金貴，那就得2臺(tái)接入作為一組，與服務(wù)器組成bond提供高可用，這可能是和ServerFarm最大的共識(shí)了。

但依然有區(qū)別，大廠(chǎng)要求交換機(jī)上每一Mbps帶寬都應(yīng)用于服務(wù)器與服務(wù)器通信，所以大廠(chǎng)會(huì)采用一種叫ARP/ND在bond成員端口雙發(fā)的服務(wù)器OS內(nèi)核補(bǔ)丁。

交換機(jī)接收到ARP/ND后都要轉(zhuǎn)換成/32或/128的主機(jī)路由通過(guò)BGP發(fā)給鄰居以實(shí)現(xiàn)下聯(lián)接口斷開(kāi)后的網(wǎng)絡(luò)收斂，這樣成對(duì)的交換機(jī)可以不用橫穿互聯(lián)也能組VRRP和LACP。

交換機(jī)所有端口不是上連就是下連，帶寬沒(méi)有絲毫浪費(fèi)。

現(xiàn)在的交換機(jī)表項(xiàng)規(guī)格都經(jīng)得起這么用。

▌離線(xiàn)業(yè)務(wù)

業(yè)務(wù)集群級(jí)耐造，服務(wù)器掛了也能靠業(yè)務(wù)收斂，那就沒(méi)必要bond了，單上行打造極致的Capex成本。

由于2種模式會(huì)造成運(yùn)維差異，也有大廠(chǎng)通過(guò)虛擬化之類(lèi)的統(tǒng)一成bond這種模式了。

二、全盒式CLOS組網(wǎng)

拓?fù)溟L(zhǎng)得就像Facebook(Meta)之前發(fā)布的F16，接入層往上，可以分別叫模塊核心、集群核心、園區(qū)核心，基本上都是相同型號(hào)的單芯片盒式交換機(jī)。

Meta發(fā)布于2019年的F16

園區(qū)核心很好理解，一個(gè)DC園區(qū)共用這一層，數(shù)量可能很多，比如128或者256，被劃分成8或者16個(gè)平面。

集群核心比較理想的情況是一棟樓共用，數(shù)量也不少，比如64，也被劃分成8或者16個(gè)平面。

模塊核心那就是一個(gè)包間共用，這一層有8或者16或者32臺(tái)。

數(shù)量的多少來(lái)自于對(duì)建設(shè)規(guī)模的把握，與數(shù)據(jù)中心園區(qū)規(guī)模、樓棟規(guī)模、包間規(guī)模的對(duì)齊，也需要與需求節(jié)奏匹配上。

大家可能會(huì)覺(jué)得這是拍腦袋決策，這就像是多缸發(fā)動(dòng)機(jī)一樣，每個(gè)缸的活塞都連接在曲軸上協(xié)同做功。

每個(gè)部門(mén)就是一個(gè)活塞，只要目標(biāo)一致，自己部門(mén)的數(shù)據(jù)準(zhǔn)確輸入，協(xié)同對(duì)齊機(jī)制會(huì)讓網(wǎng)絡(luò)部門(mén)得出一個(gè)最佳規(guī)模，而且這個(gè)最佳規(guī)模一定是會(huì)超過(guò)實(shí)際需求的，以容納各種突發(fā)的擴(kuò)容。

另外分層設(shè)計(jì)的好處，就是可以滿(mǎn)足不同顆粒度的快速交付，園區(qū)開(kāi)局一棟樓若干包間，再起包間就建模塊，再起樓就建集群。

這種標(biāo)準(zhǔn)化思路非常有利于自動(dòng)化，不同層級(jí)可以設(shè)置預(yù)設(shè)檔位的收斂比滿(mǎn)足不同業(yè)務(wù)的性能口味。

三、哪些網(wǎng)絡(luò)協(xié)議更流行

這么龐大的網(wǎng)絡(luò)互聯(lián)只能用三層路由互聯(lián)且采用計(jì)算路由開(kāi)銷(xiāo)最小的EBGP。

同時(shí)BGP豐富的路由屬性非常有利于擴(kuò)展出奇葩需求，比如ARP/ND表項(xiàng)轉(zhuǎn)成主機(jī)路由，比如給路由采上各種團(tuán)體字用來(lái)區(qū)分起源和用途。

另外，在CLOS組網(wǎng)中，設(shè)備A上行帶寬減少了1/4，同級(jí)設(shè)備上行帶寬沒(méi)有減少，對(duì)于下一級(jí)設(shè)備來(lái)說(shuō)上一級(jí)設(shè)備就存在ECMP的木板效應(yīng)，經(jīng)過(guò)設(shè)備A的流量可能會(huì)丟包。

這個(gè)時(shí)候就要把短板A隔離，有了BGP，可以用UCMP實(shí)現(xiàn)不同負(fù)載的ECMP效果。

BGP可以說(shuō)是目前最為活躍的路由協(xié)議，這些擴(kuò)展都可以有RFC支持，至于OSPF，已經(jīng)在大廠(chǎng)中絕跡了。

同樣絕跡的還有各種STP，但I(xiàn)SIS還是比OSPF有看點(diǎn)的，在DCI里經(jīng)?？梢钥匆?jiàn)ISIS的身影，就像3大運(yùn)營(yíng)商的骨干也是用ISIS一樣。

四、園區(qū)網(wǎng)受追捧、大廠(chǎng)網(wǎng)絡(luò)遭冷遇的大箱子們

曾經(jīng)設(shè)備界的皇冠——機(jī)框式交換機(jī)，在大廠(chǎng)中逐漸走下神壇。

主要原因是端口密度高爆炸半徑大、實(shí)現(xiàn)黑盒不利于排障、機(jī)框內(nèi)部也是兩級(jí)芯片互聯(lián)轉(zhuǎn)發(fā)3跳并沒(méi)有比盒式少、供應(yīng)商少容易被成本和交期拿捏。

所以在大廠(chǎng)中，普遍的思路就是用簡(jiǎn)單的工業(yè)品代替精細(xì)的藝術(shù)品。

五、不能忽視的光模塊們

得益于A(yíng)I驅(qū)動(dòng)互聯(lián)速率越來(lái)越高，負(fù)責(zé)高速信號(hào)傳遞的連接器件是數(shù)字通信和模擬通信的縫合體。

高速信號(hào)速率、傳輸距離、功耗限制、耐造程度這些約束匯聚在一起，使這個(gè)行業(yè)近年來(lái)一直游走在理論與材料學(xué)的邊界。

產(chǎn)能小單價(jià)高，讓連接器件變成比網(wǎng)絡(luò)芯片還要熱門(mén)的領(lǐng)域，獲得充足的供應(yīng)配額和降低成本變成這個(gè)行當(dāng)?shù)目醇沂炙?，各個(gè)大廠(chǎng)都會(huì)從器件BOM組合的方式去定義自己理想的模塊或者線(xiàn)纜。

光進(jìn)銅退還是銅進(jìn)光退在這些都是一時(shí)的現(xiàn)象，客觀(guān)的約束條件會(huì)自然地要求該光的時(shí)候就光、可銅的時(shí)候就銅。

如果拆開(kāi)講，光就有SR、DR、FR、LR、ZR這些不同傳輸距離的模塊，每種模塊以對(duì)應(yīng)著不同的光纖類(lèi)型，就需要決策什么場(chǎng)景用什么模塊或者幾種組合模塊以滿(mǎn)足穩(wěn)定性、成本和交付的條件。

這個(gè)領(lǐng)域的網(wǎng)工顯然不是研究路由協(xié)議出身，而是信號(hào)學(xué)領(lǐng)域的高足，也豐富了協(xié)議工曾經(jīng)枯燥的世界。

六、大廠(chǎng)DCN網(wǎng)絡(luò)最怕什么？

龐大的網(wǎng)絡(luò)端到端路徑一定是非常多的，丟包時(shí)能不能快速定位到是哪臺(tái)設(shè)備哪個(gè)端口對(duì)于快速止損尤為重要。

所以需要部署網(wǎng)絡(luò)探針探測(cè)每一條轉(zhuǎn)發(fā)路徑。

此外，業(yè)務(wù)層改包問(wèn)題也一度讓網(wǎng)工頭疼，曾經(jīng)有某知名廠(chǎng)商對(duì)改包給出了宇宙射線(xiàn)和太陽(yáng)耀斑爆發(fā)導(dǎo)致存儲(chǔ)器產(chǎn)生Parity Error的根因解釋。

在大廠(chǎng)里，不會(huì)追究這種無(wú)法確認(rèn)的天文現(xiàn)象，而是把這種異常當(dāng)成一種概率事件。

既然發(fā)生了，就盡快定位改包的設(shè)備，隔離它，再替換它。

手速越來(lái)越快之后，這些檢測(cè)、診斷、隔離就可以變成自動(dòng)化的操作了。

大廠(chǎng)對(duì)待網(wǎng)絡(luò)就是一個(gè)無(wú)情的流水線(xiàn)，快速定位、隔離、替換……

至于設(shè)備、連接器異常的根因在不影響業(yè)務(wù)的情況下可以按部就班地去調(diào)查。

當(dāng)然這些異常都會(huì)統(tǒng)計(jì)在故障率里，故障率高的供應(yīng)商自然也是不可能得到獎(jiǎng)賞的，冷冰冰的數(shù)據(jù)就是大廠(chǎng)的最強(qiáng)話(huà)術(shù)。

好了，這就是大廠(chǎng)DCN網(wǎng)絡(luò)的一些皮毛，下一篇我們?cè)侔旬?dāng)下比較火的HPN拎出來(lái)說(shuō)說(shuō)。