你沒想到吧，在網(wǎng)絡(luò)產(chǎn)品中看起來最不起眼的光模塊，竟然是暴利產(chǎn)品！

很多時候，買一臺交換機的錢，還不如配套的光模塊多。

所以，今天我就給大家掰扯一下大廠網(wǎng)絡(luò)中最不起眼、卻又不可忽視的部分：連接器（Connector）。

雖然這個類別叫光模塊更通俗，但目前還是光銅互搏的時代，銅纜尤其DAC仍有一席之地，大廠里面也是同一伙人在主理，所以我們還是統(tǒng)稱為連接器吧。

連接器的基礎(chǔ)知識

我po一張表吧，大家先了解下，在大廠不同距離和場景下，什么樣的介質(zhì)和連接器更適用。

結(jié)合上面的表，我們拿個具體的模塊型號「400G QSFP-DD DR4」，來詳細拆解含義↓

400G是模塊速率

表示模塊可以提供的通信速率是400Gbps，這是目前大廠網(wǎng)絡(luò)比較典型的速率。

QSFP-DD是模塊物理規(guī)格

SFP是這個規(guī)格系列的起點，字面翻譯是小型可熱抽插光電接口模塊（Small Form-factor Pluggable），SFP是外部電信號側(cè)“1收1發(fā)”的非并行模塊。

Q表示Quad，即4，是對SFP的電信號的數(shù)量描述，表示是4個SFP并行的模塊，表示4收4發(fā)，類似還有DSFP表示2收2發(fā)，OSFP表示8收8發(fā)。

DD，是對QSFP的修訂，DD表示Double Density，即8收8發(fā)，修訂的意思是不改變外型上的寬度和高度，并兼容QSFP模塊。

類似的還有OSFP-XD，老外規(guī)范命名上略顯隨性。

DR4是模塊的光側(cè)屬性

DR表示傳輸距離和光纖類型，即500m、單模；

SR和VR表示100m、50m多模；

FR表示2KM單模，專業(yè)人士可以通過這些參數(shù)快速分辨出使用的激光器類型、制造工藝、成本范圍。

4表示4×光通道并行，所以就很容易理解SR2、SR4、SR8、FR4的含義。

還有一種變形如800G OSFP 2×DR4，表示光模塊上有2組DR4插槽，和DR8的1組插槽是不一樣的。

也就是說這個800G更多是變成2個400G在用（不直接做成2個400G接口可能是一種宣傳上的算計）。

還有一種更科學(xué)的表示方式400G QSFP-DD56 DR4、400G QSFP112 DR4，這里的56和112表示外部單路電信號速率：

56是56Ghz PAM4調(diào)制格式可以妥妥提供50Gbps的速率，112是112G PAM4調(diào)制格式提供100Gbps的速率。

結(jié)合QSFP-DD表示8路電信號，8×50Gbps=400Gbps；QSFP表示4路電信號，4×100Gbps=400Gbps。

都是DR4說明光信號側(cè)是同樣的規(guī)格，這2個模塊又都是400G，所這2個光模塊是可以互聯(lián)的。

同樣可以互聯(lián)的還有400G QSFP112 SR8和400G QSFP-DD56 SR8，可以發(fā)現(xiàn)只要模塊速率一致，光側(cè)信號規(guī)格一致都可以互聯(lián)。

區(qū)別在于是電信號高的降級到光信號低的還是電信號低的升級到光信號高的。

這個升降級的關(guān)鍵就是DSP的變速能力，所以DSP是可插拔模塊中技術(shù)含量最高的器件。

有個別DSP廠商會把TOSA和ROSA的一部分集成在一起，也有硅光會把TOSA、ROSA都做在一起的方案，但這只影響成本和利益的分配，并不影響光模塊的功能。

網(wǎng)卡側(cè)模塊有一些特例，例如CX6 100G QSFP網(wǎng)卡，可以工作在QSFP28的4收4發(fā)模式，也可以工作在QSFP56的2收2發(fā)模式（雖然是QSFP，但只用2路信號），

因此可以大量看到網(wǎng)卡側(cè)是100G QSFP56 SR2，交換機側(cè)是100G DSFP56 SR2的情況。

下圖是比較常用的400G光模塊：QSFP-DD的爆炸圖，大家看看內(nèi)部結(jié)構(gòu)吧。

400G qsfp-dd光模塊爆炸圖

光模塊真正值錢的都在殼子里面，最常見的主要是3大件↓

負責(zé)電信號整形的DSP（也有叫oDSP的，o表示optical）
負責(zé)把DSP整形后的電信號轉(zhuǎn)成光信號并向光纖精準發(fā)射的發(fā)光集成TOSA
負責(zé)把光纖的光信號轉(zhuǎn)成電信號并放大發(fā)給DSP的收光集成ROSA

熟練掌握光模塊的基礎(chǔ)結(jié)構(gòu)、光模塊規(guī)格命名參數(shù)的含義是能在大廠做互聯(lián)的基礎(chǔ)門檻。

如今，電信號112G PAM4已經(jīng)是成熟制程了（也是目前國產(chǎn)芯片的上限），先進的224G PAM4即將規(guī)模商用，NV也已經(jīng)發(fā)在NVLink 6發(fā)布了448G。

別看這個玩意很枯燥，但在數(shù)據(jù)通信和通信領(lǐng)域，這個速率是實力層面的至高皇冠。

所以在技術(shù)領(lǐng)域，400G QSFP112模塊和800G OSFP112模塊完全沒有高下之分。

特別是“多此一舉”的800G OSFP 2×DR4，只有集成生產(chǎn)成本的細微差異，這和熱鬧的資本市場嗨點并不匹配。

圖2 DR4在電信號進行合分，光信號直接采用物理并行

圖3 FR4在電信號和光信號上都有合分

圖4 SR8在電信號和光信號上都不合分

圖5 LPO光模塊取消了DSP，由外部電信號直接對接TOSA和ROSA

如圖2和圖3，DR4和FR4光模塊上有電信號的gear box，是DSP的基本功能，可以把金手指上的8*50G信號變速轉(zhuǎn)換成4*100G電信號，再驅(qū)動TOSA或者對接ROSA。

如圖2，DR4把變速后的4路100G通過TOSA變成4路物理的光信號并直接打進4芯，這就叫物理并行。

反向的ROSA到DSP方向也是一樣的，好處是可以把物理并行光纖進行拆分，可以把400G拆分成2×200G端口或者4×100G端口。

如圖3，F(xiàn)R4把4路100G通過TOSA變成4路不同波長的光信號，進行合波（光模塊內(nèi)部有很小的光器件進行合分波，因此FR4的封裝成本要比DR4高）后打進1芯，就無法拆分端口，但纖芯數(shù)量小，可以節(jié)約長距離通信的纖芯租賃費用。

如圖4，SR8在電信號和光信號上都不做變速、合封裝，因此可以不使用DSP，可以使用性價比更高的CDR，其獨特的VSCEL激光器也在成本上更有優(yōu)勢，SR8由于是物理并行，所以也可以和DR4一樣進行連接拆分（如圖6）。

如圖5，LPO光模塊則進一步簡化，把成本占比顯著的CDR和DSP都取消了（和無源銅纜DAC一樣），由外部電信號直接驅(qū)動光收發(fā)模塊。

特點是光模塊成本進一步降低，但缺點是要求外部電信號的完整度很高。

當(dāng)前交換機的PCB設(shè)計，并不一定可以保證所有端口在各種復(fù)雜工況下都可以做到較好的電信號完整度，所以并未能得到很好的普及。

圖6 400G qsfp-dd使用并行光纖拆分成2 × 200G示意，DR4也是類似

硅光為什么會流行？

如今互聯(lián)網(wǎng)大廠也好，數(shù)通大廠也好，都在推硅光，究竟是為啥？我還是直接上圖吧↓

圖7 硅光代替了T/ROSA的PD、TIA、Driver等器件

圖8 DSP大廠MARVELL的硅光相對分散器件優(yōu)勢介紹

硅光Silicon Photonics簡稱SiPho或者SiPh，利用了硅的數(shù)字邏輯處理能力和光電效應(yīng)，實現(xiàn)了電、光信號的翻譯。

可以把多個T/ROSA的分立器件合并成1個，這可以極大簡化光模塊生產(chǎn)環(huán)節(jié)的復(fù)雜操作，降低光模塊生產(chǎn)過程中的封裝成本：

PD，Photonics Detector，收光方向的探測器，把光信號還原成電信號；

TIA，跨阻放大器，把PD還原后的電信號進行放大，便于DSP進行處理；

Driver，激光器驅(qū)動，把DSP發(fā)出的電信號進行放大，以驅(qū)動激光器產(chǎn)生對應(yīng)的光信號

硅光的優(yōu)勢是提升集成度、降低制造成本，只要是能降低成本的技術(shù)，大廠都是趨之若鶩的。

既然談到硅光，那就不能不講CPO，畢竟大廠要求極致的功耗、密度。

圖9 隨著帶寬需求上漲，光收發(fā)器件與信號源越來越近

在LPO模塊中了解到，LPO模塊由于輸入電信號完整性在實際應(yīng)用中并不可靠。

所以工程師們就會自然地想到，如果把電光TOSA、光電ROSA離信號源更近就可以解決電信號完整度的問題。

而且越近的銅走線可以天然地支持更高速的信號，同時硅光的發(fā)展也可以把T/ROSA緊密地封裝成1個硅器件，硅器件就天然地可以和同是硅芯片的邏輯處理信號源封裝在一起。

CPO（Co- Packaged Optics，即字面意思合封裝光模塊）就是這個理論的產(chǎn)物↓

TOSA、ROSA合在一起，叫光引擎Optical Engine簡稱OE，負責(zé)電、光信號的翻譯。

OE通過不同的封裝方式，可以和信號源有不同的距離，最佳方案就是3D CPO，目前成熟應(yīng)用應(yīng)該是2.5D CPO。

OE主要實現(xiàn)信號調(diào)制，其光功率不足夠傳遠，所以需要外置激光器提供高功率的光源。

由于激光器故障率相對較高，所以這些激光器通常做成交換機面板可插拔的模塊形式，1個激光器可以提供如16、32路光通道光源。

OE把外置光源調(diào)制成光信號后通過光跳線接到交換機面板，交換機連接光纖的面板就像是配線架一樣簡陋。

這種光跳線接駁的方式會帶來額外的信號插損，對多模信號影響會比較明顯，通常為了具備相對大范圍的使用場景，會做成類似DR4單模物理并行的方式。

需要注意的是，CPO也不是100%好，而是有適合使用的場景。

所有端口都工作在DR模式且沒有DSP的變速功能，如果需要不同距離靈活接入、前向后速率兼容的通用DCN場景就不那么普遍合適了（可能個別角色如模塊核心合適）。

幸好現(xiàn)在的Scale-Out網(wǎng)絡(luò)就是這種純粹的密集互聯(lián)場景，所以我們可以看到老黃發(fā)布的Spectrum6交換芯片是CPO形態(tài)的，就是專打Scale-Out場景。

話外音：好家伙，老黃連光模塊的錢都不讓別人賺了。

CPO的好處主要是性能方面的，成本優(yōu)勢是理論上和間接的，如CPO因電信號傳輸距離短可以降低整體功耗，同時規(guī)避了DSP的成本支出。

之所以是理論上，原因是CPO和處理邏輯芯片耦合了，被廠商徹底綁定。

大廠針對這種情況通常是再找一個能做交換芯片和CPO的大廠與之抗衡，只是換了個戰(zhàn)場。

大廠連接器決策邏輯

基本原則：滿足性能、功能的前提下，降低成本。

1、端口類型

直接上結(jié)論：看看服務(wù)器主流網(wǎng)卡的接口的電信號規(guī)格是什么樣，交換機就選什么樣的。

比如服務(wù)器是CX6網(wǎng)卡100G QSFP56，電信號是2路50G，那么交換機也選擇2路50G的100G端。

這樣的好處是可以直接用DAC，同時可以避免端口拆分，因為拆分意味著交換機端口的爆炸半徑至少是單端口的2倍甚至4倍，可靠性是網(wǎng)工的第一優(yōu)先。

為什么不要求光模塊物理規(guī)格一樣呢？

因為交換機是以端口多為特點，需要考慮面板尺寸能不能放下這么多端口。

所以CX6網(wǎng)卡是100G QSFP56 SR2，而交換機可以是100G DSFP56 SR2，DSFP尺寸緊湊，可以讓1U高的交換機面板上布置48個100G端口。

而且以中國龐大的光通信產(chǎn)業(yè)能力，100G QSFP-DSFP這種2端模塊物理規(guī)格不一致的，不管是DAC還是SR2 AOC的生產(chǎn)都不在話下。

到了CX7是主流了，CX7網(wǎng)卡是2×200G QSFP112 VR2或者單口400G QSFP112 VR4。

那么接入交換機最好就是用400G QSFP112 VR4，既可以直連400G也可以拆分后支持200G。

這里交換機為什么做200G端口的？原因是在112G時代的交換機芯片常見容量是51.2Tbps。

51.2T可以做成128 × 400G QSFP112端口，4U高的交換機在布線、散熱上都有比較成熟的方案。

如果做成256個200G，需要做成6U甚至8U高，芯片到面板端口最長距離比4U會延長，電信號完整度會下降，不利于通信性能。

這是可以解釋國外品牌非常喜歡2U甚至1U高的盒子（2U高64×800G OSFP112、1U高32×1.6T OSFP-XD112）的原因

交換芯片的MAC規(guī)格表示可以做出多少個L2端口，51.2T這一代，通常達不到256個，所以也無法工作在256×200G的形態(tài)，因此128×400G就是最合適的選擇。

2、可以接受的拆分場景

不建議拆分的原因是會擴大故障場景的爆炸半徑，如果拆分后不會影響可靠性，反而可以提升可靠性呢，那絕對是可以的。

比如HPN網(wǎng)絡(luò)的多平面組網(wǎng)場景，不管是網(wǎng)卡還是交換機都會把800G拆成4×200G來使用。

這種打散后的連接在任意端口故障時都只會損失對端的1/4性能。

這樣干可以有效地分散故障爆炸效應(yīng)，如圖13：

圖13 多平面組網(wǎng)的端口拆分及光纖連接

這種原理圖是好畫的，但如果實際布線會是一場災(zāi)難。

先拆分后組合的交叉布線邏輯會急劇增加施工復(fù)雜度并讓工時大幅上升，為了簡化布線復(fù)雜度，會使用光纖shuffle box代替現(xiàn)場拆分互聯(lián)，如圖14。

圖14 預(yù)先按規(guī)則配置拆分和組合的光纖shuffle box

圖15 使用Shuffle Box簡化布線連接

這種mini的配線架簡化布線，理論上可以減少信號插損，但缺點也是有的↓

不同交換機到服務(wù)器走線距離不同，Shuffle Box使用的光纖長度需要規(guī)劃，或者統(tǒng)一較長的長度并提供盤纖裝置以調(diào)節(jié)長度。

故障替換，需要把Shuffle Box打開，或者完整替換，替換的邏輯要比不拆分的方式更為復(fù)雜。

根據(jù)原理，shuffle box就是光纖+理線邏輯，生產(chǎn)線上多一道理線工序，成本并不會增加很多，是一個非常靠譜的選擇。

3、光模塊的軟性規(guī)格

前面講的都是硬的部分，其實大廠對光模塊最狠的要求還是軟性規(guī)格，基本上網(wǎng)絡(luò)設(shè)備的管理拉平：

具備標(biāo)準的I2C接口，便于交換機和服務(wù)器使用標(biāo)準的方法讀取光模塊的EEPROM信息，交換機和服務(wù)器讀取后以telemetry的方式吐到網(wǎng)管平臺進行分析，產(chǎn)生告警、資產(chǎn)巡檢、質(zhì)量預(yù)測等等。

支持通過I2C接口對光模塊進行固件升級。

光模塊EEPROM不同的頁面必須包含哪些信息，通常是CMIS標(biāo)準：光模塊的生產(chǎn)信息和資產(chǎn)信息；實時的狀態(tài)如溫度、電壓、收發(fā)光功率、收發(fā)OSNR和ESNR、糾前和糾后BER（誤碼率）等。

要求各個光模塊廠商一致，便于標(biāo)準化管理。

在技術(shù)規(guī)格中，出廠的糾前BER也在Scale-Out組網(wǎng)中變得重要，糾前誤碼率越小，意味著光模塊的容錯空間越大。

因為實際的機房環(huán)境并不是完全潔凈的，布線過程中沾染細小的灰塵顆粒、光纖端面磨損等等現(xiàn)象是常見的。

而Scale-Out網(wǎng)絡(luò)但凡中斷一下，都是影響昂貴的使用時間，這也是NV強烈推薦其原廠光模塊的原因（據(jù)說，其原廠模塊經(jīng)過了BER篩選，哈哈哈，就是太貴）。

最后還是要說一句，光模塊的暴利時代已經(jīng)過去了，當(dāng)下最好的理財產(chǎn)品其實是內(nèi)存。