今天我們來聊點特別的，量大、神秘的大廠網(wǎng)絡(luò)。

網(wǎng)絡(luò)這東西，是個理論為底、實踐為本的經(jīng)驗知識體系，如果不是天天摸它、盤它、挊?biāo)芸炀屯簟?/p>

為什么大廠網(wǎng)絡(luò)比園區(qū)網(wǎng)神秘，就是因為它規(guī)模夠大，并不是每個甲方都需要，接觸的網(wǎng)工自然就少。

從今天開始，我打算在特大號起個專欄，陸陸續(xù)續(xù)寫些小文，把大廠網(wǎng)絡(luò)的特點介紹一下，讓這個領(lǐng)域“卷”起來。

01、大廠網(wǎng)絡(luò)分類

規(guī)模大才能稱得上大廠，網(wǎng)絡(luò)至少20萬個接入端口，也就是10萬臺服務(wù)器，是個門檻，再往上還有20萬、50萬、100萬臺服務(wù)器這幾個檔位。

量變引起質(zhì)變，所以對網(wǎng)絡(luò)的分類自然和以辦公為主體的園區(qū)網(wǎng)絡(luò)有了本質(zhì)變化↓

一、DCN，數(shù)據(jù)中心網(wǎng)絡(luò)，專門伺候一個數(shù)據(jù)中心園區(qū)內(nèi)的服務(wù)器高速互聯(lián)用的，這幾年因為AI的發(fā)展，概念上也有了分化。

①front-end或者TCP或者機(jī)頭網(wǎng)絡(luò)：

每家大廠都會有自己的命名體系，當(dāng)看到不同廠的文檔時，需要讀者進(jìn)行理解上對齊。

這就是傳統(tǒng)的DCN，服務(wù)器的業(yè)務(wù)網(wǎng)絡(luò)，承載Overlay的Underlay，同時跑也存儲這類大流量，也支持不那么高性能的RDMA。

②back-end或者RDMA或者HPN或者scale-out網(wǎng)絡(luò)或者IB網(wǎng)絡(luò)或者RoCE網(wǎng)絡(luò)：

也有叫計算平面、參數(shù)平面的，名稱非常多，AI時代的產(chǎn)物，專門用于GPU或者加速卡之間的高性能RDMA通信。

③scale-up網(wǎng)絡(luò)或者超節(jié)點網(wǎng)絡(luò)：

顧名思義，超節(jié)點才需要的內(nèi)存總線網(wǎng)絡(luò)，通常由GPU或者加速卡廠商綁定，大廠也會自研這部分網(wǎng)絡(luò)。

這部分網(wǎng)絡(luò)通常要跨界計算體系結(jié)構(gòu)，純網(wǎng)工已經(jīng)完全不夠用了。

④互聯(lián)器件：

和股市反映的現(xiàn)實一樣，光模塊等互聯(lián)器件在DCN中無比重要，通常會有專門的小分隊來跟蹤互聯(lián)器件的技術(shù)路線。

二、DCI，數(shù)據(jù)中心互聯(lián)，也就是把不同的數(shù)據(jù)中心連起來，并且通過自建的OTN給夠帶寬，也根據(jù)OTN的類型分為以下幾種。

①城域DCI，裸纖資源較充沛，通常會自建OTN來滿足想擴(kuò)就擴(kuò)的帶寬需求

②骨干DCI，跨省的裸纖就不那么好找了，會根據(jù)實際帶寬需求的TCO成本來考慮是租用運營商線路還是自建OTN。

OTN，物理層的技術(shù)體系，通常也是一個單獨的架構(gòu)，量大了就會采取更為自主可控的技術(shù)路線。

三、公網(wǎng)或者外網(wǎng)，有的廠會獨立架構(gòu)，也有的廠因為多地域出口需要用骨干DCI提供調(diào)度也會放到DCI里。

大廠不會給所有服務(wù)器提供直接的公網(wǎng)接入，所有公網(wǎng)都通過專用的網(wǎng)關(guān)或者代理網(wǎng)元提供，這類網(wǎng)元都是基于服務(wù)器集群或者專用可編程硬件集群，構(gòu)造了一個性能無限、更為自主可控的公網(wǎng)訪問控制體系。

①國內(nèi)公網(wǎng)：

國內(nèi)公網(wǎng)就3大，靜態(tài)和BGP互聯(lián)可選，覆蓋分布較為簡單，運營模式較內(nèi)網(wǎng)復(fù)雜N倍。

②國際公網(wǎng)：

運營商覆蓋分布零散，自由的BGP互聯(lián)，有穿透和非穿透互聯(lián)，也有專線互聯(lián)和IX互聯(lián)。

每種互聯(lián)選項都有不同的覆蓋質(zhì)量和服務(wù)等級，如果是國產(chǎn)網(wǎng)工要上手這部分，背景知識就得花好幾個月，應(yīng)該是國內(nèi)公司的N倍復(fù)雜度。

四、邊緣網(wǎng)絡(luò)，有的廠也會加入到DCI里頭，主要是隨著CDN、邊緣計算等業(yè)務(wù)的興起，需要一個專門的網(wǎng)絡(luò)分類來滿足這部分需求。

①邊緣內(nèi)部網(wǎng)絡(luò)，類似迷你的DCN + 迷你的公網(wǎng)。

②邊緣回源網(wǎng)絡(luò)，屬于DCI的毛細(xì)分支，有的廠為了有更好的回源質(zhì)量用了專線，有的廠則直接復(fù)用邊緣龐大的公網(wǎng)出口。

五、虛擬網(wǎng)絡(luò)，也有叫容器網(wǎng)絡(luò)或者云網(wǎng)絡(luò)的，熟知的Overlay。

①VS網(wǎng)元，部署在服務(wù)器上，實現(xiàn)計算資源的Overlay的接入。

②網(wǎng)關(guān)網(wǎng)元，分布式的各類網(wǎng)元，提供虛擬組網(wǎng)路由、NAT、4/7層代理、限速、訪問控制、專線接入、VPN等功能。

這些網(wǎng)元通過Underlay實現(xiàn)互聯(lián)，Overlay掛載相同的VPC實例，這個VPC就變成一個邏輯功能不亞于物理網(wǎng)絡(luò)的虛擬網(wǎng)絡(luò)了。

六、帶外網(wǎng)絡(luò)，這部分是最接近園區(qū)網(wǎng)絡(luò)的分支，通常會和辦公網(wǎng)絡(luò)打通，會獨立一套組網(wǎng)資源，避免與生產(chǎn)網(wǎng)絡(luò)形成相互依賴。

七、研發(fā)體系，這不是具體的網(wǎng)絡(luò)類型，但對大廠卻很重要，這部分代表了自主可控，所有網(wǎng)工智慧結(jié)晶與優(yōu)秀代碼的結(jié)合產(chǎn)物，陣型劃分每個廠都有自己的偏愛，大家理解上對齊就好了。

資產(chǎn)管理，固態(tài)數(shù)據(jù)；配置管理，靜態(tài)數(shù)據(jù)；監(jiān)控管理，動態(tài)數(shù)據(jù)。

告警管理，處理不同數(shù)據(jù)的專家策略，代替人眼快速感知網(wǎng)絡(luò)的健康狀態(tài)。

自動化，代替網(wǎng)工執(zhí)行成熟的SOP。

SDN，可能也不用這個詞，定位已經(jīng)不是取代路由協(xié)議了，而是作為一個高級工具，簡單來說就是能夠代替專家看懂全局網(wǎng)絡(luò)，并且能夠基于全局網(wǎng)絡(luò)做一些流量調(diào)度以提供更高級的網(wǎng)絡(luò)運營能力。

高性能網(wǎng)絡(luò)，專長在擁塞控制算法、RDMA協(xié)議棧的網(wǎng)絡(luò)開發(fā)專家，與熟練的網(wǎng)絡(luò)工程人員密切配合，在HPN網(wǎng)絡(luò)上跑出讓大模型滿意的性能。

自研體系能力，只要量夠大，萬物皆可自研或者自定義，不論是咱們的軍工體系還是大廠抄作業(yè)的對象——Google都有力地證明了這一點。

通常是從自研交換機(jī)OS開始的，統(tǒng)一各種管控面拔高可靠性和效率指標(biāo)的上限，這也是園區(qū)網(wǎng)絡(luò)的網(wǎng)工很體會到的點，如果量夠大，評估收益夠可觀，自研光模塊、自研OTN、甚至聯(lián)合研發(fā)硬件、芯片都不在話下。

02、如何評價大廠網(wǎng)絡(luò)的水平

建得好不好，通常不由自己說了算，也不由同行說了算，而是看公司業(yè)務(wù)發(fā)展有沒受影響。

公司業(yè)務(wù)發(fā)展沒受制約，說明不錯，再橫向?qū)Ρ纫幌峦械耐S數(shù)據(jù)，那基本上就知道段位了。

大廠網(wǎng)絡(luò)的獨特性本質(zhì)是來說是評價體系造就出了技術(shù)框架↓

一、可靠：

衡量網(wǎng)絡(luò)的首選要素，故障多不多、出了故障修復(fù)得快不快，就這2個樸素的指標(biāo)。

為了滿足這2個指標(biāo)不影響業(yè)務(wù)發(fā)展，多少網(wǎng)工掉了多少頭發(fā)去填坑補漏，優(yōu)秀的網(wǎng)工都是趟過最多坑的那一群人。

二、經(jīng)濟(jì)：

在滿足業(yè)務(wù)基礎(chǔ)要求的前提下，在指定范圍內(nèi)的單位TCO成本，有的場景是接入端口，有的場景則是帶寬。

作為一個類似小區(qū)水電工的純成本角色，畢竟量這么大，這也是老板們最愛的指標(biāo)。

環(huán)比、同行比、拆細(xì)了維度再比，很多園區(qū)網(wǎng)絡(luò)不理解地方都是因為沒受這樣的成本模型考核。

三、效率：

主要考慮的是能不能交付、交付夠不夠快。

可能大家認(rèn)為這就是堆人的活，但如果考慮到芯片斷供、某個供應(yīng)商服務(wù)能力很差嚴(yán)重影響業(yè)務(wù)這些黑天鵝，并且要把這些可能的問題從事前規(guī)避而非事后教訓(xùn)，這也是園區(qū)網(wǎng)絡(luò)很難體會的一個點。

四、經(jīng)營：

比如用兼顧以上3個維度要求的技術(shù)方案去滿足業(yè)務(wù)需求、QoS服務(wù)的可不可以靠差價賺點微薄利潤、在業(yè)務(wù)還沒有明確的要求的時候要不要推廣200G接入端口……

一個好的經(jīng)營，需要綜合調(diào)研、精算、方案論證和立項等策劃工作，也需要設(shè)計、項目管理、執(zhí)行、運營等長期落地工程，還需要長期跟蹤這個產(chǎn)業(yè)五花八門的技術(shù)動態(tài)以達(dá)到借鑒作用，甚至有沒有必要冒一定的風(fēng)險在業(yè)界吃一口螃蟹。

能做好經(jīng)營的網(wǎng)絡(luò)團(tuán)隊，那都是大廠中的頂流，說明團(tuán)隊陣型合理、技術(shù)儲備充分、同時有明確的技術(shù)戰(zhàn)略路線作為指引、并且可以把相應(yīng)的戰(zhàn)略目標(biāo)落實實現(xiàn)等等……

經(jīng)營，可以說是大廠網(wǎng)絡(luò)和園區(qū)網(wǎng)絡(luò)最為全面的區(qū)別。

好了，第一期就介紹這些基礎(chǔ)概念吧，后面再挑些具體的點來管中窺豹。

也歡迎大家在評論區(qū)留言或者加我微信，共同交流探討。