Al/ML集群互聯(lián)對HPC和數據中心互聯(lián)提出新挑戰
伴隨著(zhù)帶寬增長(cháng)，AI/ML集群規模從幾百張加速卡到上萬(wàn)張擴展，集群互聯(lián)距離從數十米到上百米延伸，Al/ML集群互聯(lián)對低功耗和低延遲需求迫切，現有電交換面臨瓶頸。由此，也對HPC的發(fā)展提出了更高要求：第一、HPC集群規模需要靈活配置;第二、HPC網(wǎng)絡(luò )要求長(cháng)期穩定運行。
此外，大規模數據中心互聯(lián)也面臨著(zhù)新的挑戰：挑戰一：Spine交換機成為性能瓶頸;挑戰2：隨著(zhù)端口速率從100G->200G->400G->800G演進(jìn)，能效提升進(jìn)入平臺期。
OCS全光交換方案適配新挑戰
OCS全光交換方案可以很好應對上述需求和挑戰。OCS具備全光交換優(yōu)點(diǎn)，光信號完全透明傳輸，支持光纖中任意速率/任意調制格式/任意通信波長(cháng)光信號交換，具有無(wú)時(shí)鐘抖動(dòng)，無(wú)延遲，不讀取數據，無(wú)泄漏風(fēng)險等特點(diǎn)，也支持SDN使能控制。目前在以Google為代表的TPUv4高性能計算中心和Jupiter數據中心已成功應用。
基于OCS全光交換有效提升了Google TPU v4集群互聯(lián)可靠性，在主機可靠性降到99.0%仍能保證TPU切片有較好的性能，可使系統的性能提升6倍以上。在取得以上這些收益的同時(shí)，光交換互聯(lián)方案包括OCS、光模塊及光纖占總體超算節點(diǎn)成本<5%、功耗<3%。
Google Jupiter數據中心網(wǎng)絡(luò )方案在Spine層引入光線(xiàn)路交換(OCS)，采用SDN動(dòng)態(tài)調整拓撲路由適配，流量工程可適應秒~分鐘級變化;拓撲工程可適應以天為單位變化，適配異質(zhì)速率和實(shí)時(shí)應用通信模式。可用于大流量拓撲重構、網(wǎng)絡(luò )擴容、多速率共存等場(chǎng)景。從收益方面看，網(wǎng)絡(luò )CAPEX降低30%，功耗下降40%。Fabric拓撲重構速度提升10倍以上。流完成時(shí)間(FCT)提升10%，吞吐量提升30%。
OCS全光交換技術(shù)應用廣泛，前景不容小覷
張華表示，從上述兩個(gè)Google方案中已經(jīng)全面的展示了OCS全光交換技術(shù)優(yōu)勢。目前OCS全光交換應用較廣泛的核心技術(shù)主要包括：DirectLight技術(shù)、2D/3D MEMS技術(shù)以及其他光開(kāi)關(guān)技術(shù)。
其中，DirectLight技術(shù)采用壓電陶瓷材料帶動(dòng)準直器旋轉，空間直接耦合對準(“針尖對麥芒”)，實(shí)現任意端口光路切換，目前矩陣規模最大576*576。DirectLight技術(shù)的最要特點(diǎn)為：插損等光學(xué)性能指標優(yōu)異，抗震性佳(可抗里氏8級以上地震)，能實(shí)現靈活的光信號交換，支持“暗光纖(無(wú)光)”模式下光信號單路雙向對傳等。
基于DirectLight壓電陶瓷技術(shù)的矩陣光開(kāi)關(guān)自從2003年商用化以來(lái)，已經(jīng)廣泛應用于各種場(chǎng)合，例如智能監控系統、國際空間站、數據中心/超算中心等等。目前累計現網(wǎng)運行時(shí)間150億+端口小時(shí)，4500+套系統已鋪設，300+個(gè)客戶(hù)在使用。其穩定性和可靠性已經(jīng)得到充分驗證。
最后，張華總結到，隨著(zhù)數據中心OCS應用進(jìn)一步下沉(Spine->Leaf)，需要更快切換速度、小端口低成本OCS，能適配TOR與匯聚交換機之間突發(fā)流量。未來(lái)隨著(zhù)集群規模擴展，將需要更大端口OCS，同時(shí)需提升OCS可靠性和插回損性能，DirectLight OCS技術(shù)方案會(huì )有更廣闊應用前景。
