DCN 學院派
網絡面臨的挑戰與雲計算、人工智能等新技術的創新是相生相伴的。數據中心網絡（DCN）一直是網絡新技術的前沿陣地和實驗場，最新的網絡架構、最優的網絡協議和最硬核的黑科技都在這裡誕生並走向成熟，輻射並帶動產業的發展。
DCN學院派將精選優質內容，分享數據中心網絡最新的前沿趨勢、產業觀點和技術創新。
互聯網聯接全球 40 億多用戶，支撐著VR/AR、16K視頻、自動駕駛、人工智能、5G、物聯網等層出不窮的數字化應用。教育、醫療、辦公等用戶線上與線下的結合，正在影響和改變人們生活的方方面面。
數據中心網絡，作為互聯網業務賴以生存和發展的基礎設施，早已從最初的千兆、萬兆網絡，走到了“25G接入+100G互聯”規模部署的階段。
100G互聯 全盒架構被大型互聯網企業看重
“25G接入+100G互聯”的架構下，數據中心網絡通過三級組網實現大規模接入，單集群服務器規模可以超過10萬臺。
如下圖所示，基於T1和T2層的Pod可以像樂高積木一樣靈活擴展，按需建設。
隨著大容量轉發芯片的能力提升以及100G光互聯成本的降低，市場上出現了單芯片交換機設備構建100G互聯的全盒式設備組網方案。這種單芯片多平面的互聯方案，以12.8T芯片為典型代表，單芯片可提供128x100G的端口密度，單個POD可提供2000臺服務器的接入能力。
圖2：典型128口100GE高密盒式交換機
全盒式設備組網方案，相對傳統框盒設備方案，雖然網絡節點數量和設備間的光互聯模塊數量有所增加，帶來了運維工作量的增長，但因引入了高性能轉發芯片，有效降低了數據中心網絡端口的單比特成本，對大型互聯網企業吸引力很強。大型互聯網企業一方面快速引入100G全盒架構，以降低網絡建設成本，另一方面基於自身較強的研發能力，提升網絡自動化部署和維護水平來應對運維工作量增長挑戰。
因此，大型互聯網企業對於100G網絡方案思路趨同，全盒設備組網成為100GE網絡架構演進的基座。
網絡提速成為必然，誰會是下一站
25G接入+100G互聯網絡方案促成芯片選型的統一和快速上量，充分說明了技術紅利驅動了IDC網絡架構的快速演進。隨著單芯片網絡產品的推出，100G代際的技術紅利也已經得到了完全的獲取。
在當前業務持續快速發展的背景下，帶寬升級成為必然。一個選擇題擺到了企業面前：選200G還是400G？
網絡從來都不是孤立的存在，產業的環境是決定技術是否能夠成長、成熟的大土壤。
我們先從網絡標準、服務器和光模塊三方面審視下200G和400G的產業現狀。
200G vs 400G標準：協議標準均已成熟
在IEEE 協議標準演進過程中，200G標準啟動晚於400G標準。
IEEE 802.3以太網工作組（Working Group）在完成BWA I（Bandwidth Assessment I）項目調研後，於2013年立項制定400G標準。2015年，為了進一步擴展市場範圍納入50G服務器和200G交換機規格，IEEE成立802.3cd項目，啟動制定200G標準。
因200G與400G規格具備相關性，200G單模規格最終納入了802.3bs項目。屆時，400G已經基本完成PCS、PMA、PMD的主要設計，200G單模規格總體上是基於400G單模規格減半制定。
2017年12月6日，IEEE 802最終批准IEEE 802.3bs 400G以太標準規範，包含400G以太和200G以太單模，標準正式發佈。IEEE 802.3cd 定義了200G以太多模的標準，於2018年12月正式發佈。
圖3：IEEE 802.3bs 400GE 標準關鍵里程碑
如下表所見，400G已實現全場景的標準支持，包括100m、500m、2km和長距80km。
50G vs 100G服務器：100G服務器將會成為主流
圖4：分析師機構對網卡和服務器的發貨趨勢預測
根據分析師機構CREHAN的預測，截止2019年，50G和100G網卡都已經啟動發貨。25G網卡的下一代升級選擇上，整個產業在2018和2019年存在著搖擺。2019年50G和100G服務器發貨量產生了逆轉，但2020年後100G服務器的勢頭全面超越了50G服務器，產業又開始對100G服務器充滿信心。
從CPU芯片來看，兩家主流廠商I廠和A廠都陸續推出了新的產品路標。I廠支持PCIe 4.0的芯片將於2020年Q3推出，主流I/O達到50G，高端應用時IO達到100G/200G。兩家巨頭預計將在2021年H1分別推出支持PCIe5.0的芯片，再次將主流I/O提高到100G，高端應用時IO可達到400G【1】。
因此，CPU芯片節奏和服務器發貨預測均顯示出50G曇花一現，100G服務器正快速成為主流。
200G VS 400G光模塊：400G成本更優，產業更成熟
數據中心接入服務器從25G向100G演進，那麼當前的100G互聯網絡應該選擇200G還是400G呢？
從上表可以看出，當數據中心從10G服務器演進到25G，網絡互聯從40G升級到100G，網絡帶寬增長一倍，但互聯成本、功耗卻保持不變，即Gbit互聯成本與功耗下降一半，所以100GE取代40GE成為25GE時代的主流網絡互聯方案。
200GE和400GE光模塊與以往有點不同。傳統光模塊採用NRZ（Non-Return-to-Zero)的信號傳輸技術，採用高、低兩種信號電平表示數字邏輯信號的0、1，每個時鐘週期可以傳輸1bit的邏輯信息。而200G和400G光模塊皆採用了高階調製技術——PAM4（Pulse Amplitude Modulation 4四階脈衝幅度調製）。PAM4信號採用4個不同的信號電平進行信號傳輸，每個時鐘週期可以傳輸2bit的邏輯信息，即00、01、10、11。
因此，在同樣波特率條件下，PAM4信號比特速率是NRZ信號的2倍，傳輸效率提高一倍，有效降低Gbit成本。從光模塊構成看，200G和400G模塊都是採用4-lane的主流架構，所以模塊設計成本、功耗趨同。
因為400G模塊的帶寬是200G的兩倍，所以Gbit成本和功耗是200G的一半。
另一方面，模塊成本除了架構設計，也取決於規模上量的規模。根據第三方諮詢公司Omdia (原OVUM)的發貨數據， 對TOP8供應商當前在200G、400G模塊的佈局梳理如下。
如上圖所示，200G的模塊種類只有100m SR4和2km FR4兩種，其中100m SR4只有兩家供應商。反觀400G的模塊種類達到了5種，TOP8廠商皆對100m、500m和2km模塊進行了佈局。400G的產業成熟度遠勝於200G，客戶的選擇也更為豐富。
這一分析結果也進一步說明了由於PAM4技術的引入，存在成本和功耗的技術代價。對在成本、功耗敏感的數據中心網絡領域，產業迫切期望跨過200G邁入400G來吸納這個代價。採用同樣技術和成本構成的400G在演進方面更具競爭力。
小結：400G接檔勢頭明顯，200G一代或將跳過
數據中心網絡是服務於業務的存在。從業務驅動上看，高速增長的數字化建設將推動100G服務器在2020年快速起量，併成為主流。從成本上看，由於數據中心光器件成本佔整個數據中心網絡設備成本的一半以上，由於PAM4技術的引入，400G光器件單Bit成本比200G光模塊更具優勢，光模塊部署成本將直接帶動整個整體建網成本的下降。
從總體上看，400G接檔勢頭明顯，200G代際或成為臨時過渡或被直接跳過。
那麼，400GE的數據中心組網架構應該如何演進呢？
400G組網形態，高密400G全盒仍在路上
交換機作為數據中心服務器的接入與互聯設備，容量隨服務器的IO增長而增長，核心部件轉發芯片的交換容量仍然延續著每一代翻一番的節奏。為聯接的眾多服務器提供大帶寬的連通性，轉發芯片容量翻番的挑戰比起網卡容量翻番難度大很多。
如上圖所示，半導體工藝的PPA（Performance、Power、Area）收益越來越不明顯。其中，芯片工作時鐘頻率影響到芯片線速字節性能（Performance），但半導體工藝每代時鐘性能僅提升20%，因此需要增加更多邏輯（Area）與功耗（power）來提升Performance。轉發芯片的面積不斷增大，功耗也隨之上升最終將遭遇功耗瓶頸，需要更先進的半導體工藝獲取合理的功耗指標。
以典型的128口100GE高密盒式交換機為例，採用12.8T芯片16nm工藝，芯片功耗約350W，含100G光模塊的整機最大功耗1998瓦。預計未來25.6T 128*200G整機最大功耗3000瓦。設備的整機功耗與芯片單點散熱能力越來越高。如此大的功耗，對網絡設備的工程設計能力（如散熱等）提出了極大的挑戰。
如果400G單網絡節點，期望獲得同100G網絡一樣的128個端口密度，則要求轉發芯片性達到51.2T。如果未來面世的51.2T芯片仍然使用7nm工藝技術，則預估芯片功耗或可高達1000W，這個數字對於盒式設備，按照當前散熱工藝基本不可實現。
因此，使用51.2T轉發芯片構建高密128端口400G盒式交換設備，嚴重依賴於5nm或3nm芯片技術的升級，將轉發芯片功耗降低到900W以下。但如果使用5nm或3nm芯片工藝，芯片能夠量產交付時間預計到2023年了。
400G已經到來，400G框盒是當前最佳選擇
可支撐高密400G的交換芯片（51.2T）產品商用交付節奏偏晚，在目前可獲得的條件下，網絡設備面臨三個選擇：
方案一，高密200G盒式：使用25.6T芯片提供128 x 200G端口。
方案二，低密400G盒式：使用25.6T芯片提供64 x 400G端口。
方案三，高密400G框式：通過多芯片疊加實現更高密的400G端口，提供400G框式設備，滿足128 x 400G甚至更高端口密度。
高密200G盒式：錯失400G先機
服務器100G必將快速成為主流，400G光連接成本最優，整個產業的版圖中目前唯一缺失的是尚不成熟51.2G（128*400G）的轉發芯片。這個的短暫缺失的確讓那些已經部署100G全盒架構的企業猶豫不決，開始轉向考慮200G。。但是選擇了200G，意味放棄了向400G直接演進的最短路線，導致在200G上重複投資；同時由於數據中心網絡的建設成本中光互聯成本佔據了一半以上，那麼200G的選擇將錯過第一時間擁抱400G技術紅利的契機。
低密400G盒式：服務器集群規模縮小3/4
使用64x400G的盒式設備形態進行組網，那麼由於T2層設備的端口密度較100G網絡架構中的128口密度減少一半，則POD內接入服務器的數量也會減少一半。同時，T3也使用64x400G的網絡設備，則服務器數量會再次減半，導致整個服務器集群規模縮減至原有的1/4。縱觀數據中心網絡發展，存在一個樸素的基本原則：在保證既有服務器集群規模的前提下，進行速率升級。低密400G網絡設備形態，將造成服務器集群規模的大幅縮水，較難被業務應用所接受。
高密400G框式：歷史證明過的最優選擇
我們不妨回顧下100G網絡的演進歷史。早期，雲計算業務和計算資源虛擬化技術的發展推動了100G產業標準的成熟。25G接入服務器逐步得到了規模應用，100G光互聯在市場快速起量，成本進一步下降。
當產業成熟宣告100G網絡時代到來之時，高性能100G轉發芯片存卻在滯後，在100G網絡建設初期不可獲取（下圖的階段1）。行業最初採用了多芯片構建高密100G框式交換機的方案，一方面確保網絡規模可達到預期，另一方面快速釋放了100G網絡的技術紅利。
隨著芯片性能的升級、6.4T和12.8T芯片的推出，網絡從100G框式平滑過渡到了100G盒式階段（下圖的階段2、3）。
400G網絡也將上演類似的演進規律，在51.2T芯片能力尚不可獲得的情況下，多芯片構建的400G框式交換機設備是當前更為明智的選擇。
通過部署高密400G框式設備，可實現網絡規模不變甚至進一步擴展，獲得更低的單bit成本。目前業界主流廠商都已經發布了400G框式設備，將推動400G網絡的商用進程。後續隨著51.2T交換芯片的上市，400G框盒架構可向全盒平滑演進，最終成為400G時代數據中心網絡的主流架構。
圖1：右側圖片引用自
https://techblog.comsoc.org/2019/03/18/facebooks-f16-achieves-400g-effective-intra-dc-speeds-using-100ge-fabric-switches-and-100g-optics-other-hyperscalers/
圖3：引自http://www.ieee802.org/3/bs/timeline_3bs_0915.pdf
【1】出自：
https://s21.q4cdn.com/600692695/files/doc_presentations/2019/05/2019-Intel-Investor-Meeting-Shenoy.pdf
和https://wccftech.com/amd-zen-3-epyc-milan-and-zen-4-epyc-genoa-server-cpu-detailed
閱讀更多 華為企業業務 的文章
