基于Broadcom的TomaHawk3芯片,Facebook开源了一款Minipack12.8Tbps的数据中心交换机。
Broadcom的高端交换芯片三个系列:
TomahawK:定位高端数据中心交换机,一个字就是“快”
Trident:定位高端园区级交换机,功能特性丰富
Jericho:定位城域汇聚路由器,大缓存,可编程
这里用到的是TomahawK 3代,支持12.8T的交换能力,Broadcom今年底也刚刚发布了基于7nm工艺的TomahawK 4,采用512个50G PAM4 SerDes,可支持更高的25.6T。
Minipack简介
- 尺寸大小为176mm (H) x 440mm (W) x 737mm (D),4U的高度,可安装到标准19英寸机柜
- 可安装8块接口卡,接口卡PIM-16Q支持16*100G/QSFP28,接口卡PIM-4DD支持4*400G/QSFP-DD
- 数据交换平面采用一片BCM56980(Tomahawk3),整机支持12.8T交换容量
- CPU采用Intel® Broadwell-DE processor
- BMC管理芯片采用Aspeed AST2520
这款交换机主要替换了原来的Backpack交换机,Backpack交换机采用的3.2T的交换芯片,采用3级CLOS架构搭建了12.8T的交换容量,共采用了12颗芯片,Minipack直接用1块12.8T的交换芯片进行代替,设备尺寸较小到以前的一般,功耗也大幅较低。
系统架构
- 交换芯片与接口板之间通过SerDes Links(50G PAM4)互联,50G PAM4速率达到53.125Gbps,共有256 * 50G PAM4总线,每个接口槽位有32*50G PAM4条总线
- 交换芯片与CPU之间通过PCIe Gen-3 x4互联
- CPU也可以通过PCIe Gen-3 x4挂接NVMe SSD硬盘
- 内置GBE Switch BCM5396(16口SGMII)交换芯片,作为内部管理通道,连接CPU、SCM和BMC,对外提供管理接口,同时预留了8个可以连接8块接口板的千兆口
- CPU与接口板通过PCIe Gen-1和FPGA通信
中央交换主板
主要包括了交换芯片Tomahawk3,BMC芯片AST2520,管理内部交换芯片BCM5396等
16口100G业务板
- 16 QSFP28端口, 每个QSFP28端口支持3.5W的100G光模块
- 32x 50G PAM4通过4个BCM81724(每个支持8路)转换为64x 25G NRZ信号
- 64对50G PAM4信号通过连接器连接Tomahawk3
- SPI、I2C和FPGA(PCI)处理
- 板载2个温度传感器
- 支持200G接口
4口400G业务板
系统控制板
閱讀更多 通信網絡規劃與設計 的文章