CTI論壇(ctiforum)5月9日消息（記者 李文杰):2016年3月14日，德國電信在CeBIT2016大會(huì )上宣布正式發(fā)布開(kāi)放電信云，并選擇華為為其提供基礎設施和技術(shù)專(zhuān)家支持。這是華為IT業(yè)務(wù)首次突破歐洲頂級運營(yíng)商。消息傳至華為杭州研究所，辦公室里一片歡騰。在這場(chǎng)歷時(shí)一年多的大會(huì )戰中，年輕的杭州團隊圍繞云操作系統解決方案，走過(guò)了一段艱辛而又充實(shí)的道路。
德電公有云網(wǎng)絡(luò )團隊
獲性能準入通行證
2014年12月的一天，UVP團隊公有云PM黃鵬接到云計算性能部主管的電話(huà)，問(wèn)他的團隊能否幫助聯(lián)合攻關(guān)SAP公司的HANA（高性能分析設備）認證。原來(lái)，德國電信正在尋找公有云聯(lián)合運營(yíng)伙伴，而德電有近70%客戶(hù)使用SAP公司提供的HANA業(yè)務(wù)，具備SAP HANA認證資質(zhì)是準入前提。
SAP將典型客戶(hù)場(chǎng)景提煉成2000多個(gè)極其嚴苛的測試用例，每個(gè)用例必須在其指定的時(shí)間范圍內通過(guò)虛擬化平臺測試，全部用例通過(guò)后才能滿(mǎn)足認證條件。當時(shí)我們有1000多個(gè)用例已經(jīng)通過(guò)測試，虛擬化平臺整體性能指標維持在50%左右，卻一直苦于不能繼續往上突破。
接到任務(wù)，UVP團隊成員許志闖、蔣毅飛火速趕往SAP中國區總部西安，在指定的測試環(huán)境中蹲點(diǎn)進(jìn)行性能調優(yōu)。根據以往經(jīng)驗，突破一兩個(gè)關(guān)鍵點(diǎn)就能實(shí)現性能大幅提升，然而蔣毅飛很快發(fā)現，調整單個(gè)性能參數往往是按下葫蘆又起瓢，整體用例通過(guò)數量基本保持不變。原以為兩周就可以搞定的攻關(guān)任務(wù)兩個(gè)月還沒(méi)有進(jìn)展，每天接到產(chǎn)品線(xiàn)的“進(jìn)度催命c(diǎn)all”，團隊心急如焚。
為了進(jìn)一步定位問(wèn)題，2015年3月，黃鵬等人飛往SAP德國總部拜訪(fǎng)，剛一見(jiàn)面，就遭到SAP工程師質(zhì)疑，“這么久還沒(méi)有進(jìn)展，是不是不行啊？”每個(gè)人臉上火辣辣的，但依然態(tài)度誠懇地請教了幾個(gè)用例中的底層內核相關(guān)問(wèn)題。這讓專(zhuān)注于上層應用開(kāi)發(fā)的SAP工程師態(tài)度一百八十度轉變，他驚訝于團隊在用例分析上的深度，并主動(dòng)給我們分享了典型用例的分類(lèi)細節，讓團隊對用例分類(lèi)有了更準確的定位。基于此，大家針對未通過(guò)測試且數量最多的用例類(lèi)別快速展開(kāi)分析，逐漸發(fā)現了CPU、存儲、內存等多個(gè)領(lǐng)域共二十幾個(gè)待攻克的性能關(guān)鍵點(diǎn)。沉下心來(lái)，團隊成員一頭扎入到從底層CPU到虛擬化平臺的研究分析中，一點(diǎn)點(diǎn)啃下了各領(lǐng)域的“硬骨頭”，終于在5月將性能提升至80%。
重振旗鼓的兄弟們按照相同方法瞄準其余尚未通過(guò)的用例進(jìn)行分析，在7月，實(shí)現性能提升的又一次突破，所有用例通過(guò)測試。HANA認證終于順利過(guò)關(guān)，華為云解決方案獲得了德電的入場(chǎng)券。2016年CeBIT展上，華為成為業(yè)界第一家通過(guò)SAPHANA多機認證的公司。
大家回溯發(fā)現，一路走來(lái)，整體代碼改動(dòng)量并不大，然而每一小步，都凝聚著(zhù)持之以恒的分析和鉆研，蔣毅飛感嘆，“這也許是厚積薄發(fā)的另一種體現吧。”
突圍安全“上甘嶺”
德電公有云是基于OpenStack的IaaS(Infrastructure-as-a-Service)，是一朵開(kāi)放的“云”。伴隨開(kāi)放而來(lái)的，除了經(jīng)濟便捷的服務(wù)，也有不容忽視的安全風(fēng)險。德國電信十分重視公有云服務(wù)的安全性，并將其視為廠(chǎng)商準入門(mén)檻之一。
考慮到歐洲客戶(hù)一貫的高標準嚴要求，2015年11月底，OpenStack集成開(kāi)發(fā)團隊交付第二個(gè)商用版本時(shí)已完成大量安全紅線(xiàn)整改，還從歐洲專(zhuān)門(mén)請來(lái)幾位資深安全專(zhuān)家“把脈”，確保系統安全性達到公司各項安全標準。所有人都成竹在胸，然而12月，客戶(hù)發(fā)來(lái)了一封封郵件，認為交付版本的安全要求遠遠達不到“準入門(mén)檻”。幾百條超出以往公司標準的嚴苛條件一時(shí)間讓大家懵了，一場(chǎng)突圍戰迫在眉睫。
痛定思痛，團隊很快敲定了策略，對外立即派駐安全接口人員，趕往客戶(hù)現場(chǎng)實(shí)時(shí)收集第一手信息，主動(dòng)對齊客戶(hù)的思路和要求；對內火速成立整改小組，由組長(cháng)傅斌杰統一組織網(wǎng)絡(luò )、存儲和UVP等團隊對口一線(xiàn)聯(lián)合攻關(guān)。一個(gè)月里，大家邊查資料邊討論設計方案，常常一天連口水都喝不上。為了確保服務(wù)器能支持德電要求的版本安全加密協(xié)議，主攻Web-UI領(lǐng)域安全的小蘭日夜奔忙，一周還沒(méi)見(jiàn)上新搬來(lái)的室友。在大家的并肩努力下，來(lái)自操作系統、公共組件、Web-UI等領(lǐng)域的上百個(gè)安全問(wèn)題被逐一攻克。經(jīng)過(guò)這場(chǎng)“百科全書(shū)”式的安全大考后，團隊負責人徐承武坦言，“我們基本上和各領(lǐng)域的問(wèn)題都過(guò)了招，相信之后再遇到它們就跟遇到老朋友一樣，能輕松搞定。”
然而安全無(wú)止境，層層構筑的安全屏障會(huì )使“云”越來(lái)越笨重，影響系統易用性及用戶(hù)體驗。對此，團隊還主動(dòng)從最終用戶(hù)的角度分析并設計開(kāi)發(fā)了一鍵加固系統安全等功能特性，減少用戶(hù)的操作步驟，讓體驗更輕盈，維護更便捷。從“被動(dòng)突圍”到“主動(dòng)進(jìn)攻”，終于成功跨越安全這一準入門(mén)檻。
挺進(jìn)網(wǎng)絡(luò )商用“無(wú)人區”
作為德電公有云的“大腦”，FusionSphere是業(yè)界少數完全基于OpenStack開(kāi)源架構并真正投入商用的云操作系統。網(wǎng)絡(luò )是云操作系統的神經(jīng)，然而相比計算和存儲，開(kāi)源網(wǎng)絡(luò )領(lǐng)域的全球商用在公司缺少技術(shù)儲備，也無(wú)可參照的業(yè)界經(jīng)驗，如何在三個(gè)月內快速突破OpenStack網(wǎng)絡(luò )商用這一業(yè)界“無(wú)人區”，是橫亙在公有云Fusion Network團隊面前最大的考驗。
OpenStack開(kāi)源社區的原生方案是基于實(shí)驗性質(zhì)設計和實(shí)現網(wǎng)絡(luò )功能，但在商用場(chǎng)景下，開(kāi)源網(wǎng)絡(luò )的性能不足以支撐大規模用戶(hù)使用，不到一千個(gè)用戶(hù)上線(xiàn)就會(huì )導致網(wǎng)絡(luò )系統全面癱瘓。剛接到任務(wù)時(shí)，團隊成員徐聰、王睿和高家睿首先嘗試通過(guò)網(wǎng)絡(luò )參數調優(yōu)來(lái)提升性能，在反復調試了十多個(gè)關(guān)鍵參數后，情況并沒(méi)有任何改善。核心服務(wù)的CPU負載一直居高不下，所有新任務(wù)不能下發(fā)執行。原生方案的網(wǎng)絡(luò )任務(wù)分配方式出了問(wèn)題，但又不知道問(wèn)題出在哪里。
此時(shí)距離交付時(shí)間只剩一個(gè)月，大家卻連一行代碼都無(wú)從改起，感覺(jué)已經(jīng)“山窮水盡”的徐聰手機關(guān)機整整兩天，驚得大家一度以為他要“撂擔子”了，然而這兩天“任性”的封閉卻帶來(lái)新的轉機。徐聰和他的團隊決定拋開(kāi)糾結很久的性能參數問(wèn)題，追本溯源去研究OpenStack網(wǎng)絡(luò )的底層調度機制和整體框架。大家埋頭于歷史資料和文檔中，研究原生方案的設計背景和目的，并對照業(yè)務(wù)執行流程，一步步打開(kāi)各個(gè)環(huán)節去閱讀對應的代碼。通過(guò)這種抽絲剝繭式的分析，團隊發(fā)現原生方案的架構并不支持多客戶(hù)場(chǎng)景下虛擬路由器功能，大家不得不硬著(zhù)頭皮推翻原生架構，挺進(jìn)網(wǎng)絡(luò )“無(wú)人區”的最深處。
無(wú)數個(gè)夜晚，大家自發(fā)聚集在一起分析疑難問(wèn)題，帶著(zhù)打破砂鍋問(wèn)到底的勁兒，反復質(zhì)疑和推敲整體架構的每一個(gè)細節，辦公室里常常上演激烈的辯論賽。在這個(gè)過(guò)程中，團隊還從OpenStack社區的一個(gè)設計方案中獲得靈感，并借鑒該方案的實(shí)現，將網(wǎng)絡(luò )任務(wù)分配機制進(jìn)行徹底改造。成功源于堅持，在修改了數千行原生代碼，修復了無(wú)數個(gè)bug后，最終方案出爐，實(shí)現了商用場(chǎng)景下用戶(hù)大規模網(wǎng)絡(luò )部署。第一次看到CPU低負載運行，徐聰心中感到無(wú)比幸福。這一創(chuàng )造性的解決方案不僅突破了OpenStack網(wǎng)絡(luò )商用的“無(wú)人區”，同時(shí)也成功應用于客戶(hù)公有云項目，為其注入了強勁的網(wǎng)絡(luò )性能動(dòng)力。
回望這段時(shí)光，所有的艱辛都釋釀成了雋永的馨香。然而路漫漫其修遠，隨著(zhù)全球公有云朵朵花開(kāi)，我們的萬(wàn)里長(cháng)征才剛剛起步。守好質(zhì)量生命線(xiàn)，確保運維零事故，Fusion Network團隊LM徐齊剛道出了大家的心聲，“我們正經(jīng)歷IT產(chǎn)業(yè)最好的時(shí)代，為客戶(hù)提供高質(zhì)量的云服務(wù)，接下來(lái)一定要踏踏實(shí)實(shí)地走好每一步。”
