【序言】華為OceanStor 9000大數據存儲系統在標準性能評估機構SPEC的SPECsfs2008基準測試中再次刷新記錄， 領(lǐng)先友商產(chǎn)品3倍多，成為存儲業(yè)界性能新的領(lǐng)導者。這也是華為存儲產(chǎn)品繼2009 年、2011年、2012年三次獲得最高測試結果后，又一次領(lǐng)跑SPECsfs2008測試，創(chuàng )造新的SPEC記錄。

　　1、測試前的爭議

　　雖然有了前三次SPEC性能測試的經(jīng)驗，但是面對這次500萬(wàn)OPS性能極限的沖刺，華為內部測試團隊也有了很大的爭議。“已經(jīng)有了業(yè)界領(lǐng)先的評測數據為什么還要進(jìn)行更高的性能測試？測試需要投入大量的人力、物力，這次更高性能的測試有什么意義？”類(lèi)似的問(wèn)題一直被提及。我們也一直問(wèn)自己，“我們的測試能夠為客戶(hù)帶來(lái)什么？”項目負責人龍茵回顧起測試啟動(dòng)初期不斷與周邊團隊溝通的歷程也是感慨萬(wàn)千。

　　“以客戶(hù)為中心”--華為的立足之本，在不同的場(chǎng)合，不同的產(chǎn)品領(lǐng)域被提及，連客戶(hù)看不到的一個(gè)測試項目的啟動(dòng)也不例外。“客戶(hù)的滿(mǎn)意度，不僅僅是產(chǎn)品的功能滿(mǎn)足，還有產(chǎn)品交付質(zhì)量以及后續產(chǎn)品的維護、服務(wù)質(zhì)量，甚至產(chǎn)品升級、擴容等都需要圍繞著(zhù)客戶(hù)進(jìn)行全生命周期的管理” ，在產(chǎn)品研發(fā)、客戶(hù)交付一線(xiàn)工作多年的項目專(zhuān)家徐忠反復提到：“500萬(wàn)OPS意味著(zhù)一秒鐘可同時(shí)瀏覽60萬(wàn)張商品圖片，或是一秒鐘完成高分辨率的衛星影像30景，覆蓋8萬(wàn)平方公里，相當于葡萄牙的國土面積，多個(gè)行業(yè)對存儲設備都有極限性能的需求。所以，這次大規模的測試是為500萬(wàn)OPS 需求的客戶(hù)進(jìn)行的項目交付，從物料供應到交付安裝，每一環(huán)節都是真實(shí)的客戶(hù)需求”。如果說(shuō)前三次的SPEC測試是業(yè)界的比拼、追趕，那么這第四次測試--以500萬(wàn)OPS為目標的測試，更像是華為“自我批判”的精神實(shí)踐--不斷的自我否定，不斷的的自我超越。

　　2、第一個(gè)吃螃蟹，吃出新花樣

　　在SPEC測試標準中只定義了最基本的測試項目，但具體廠(chǎng)商采用什么方法測試，采用多少的數據量進(jìn)行測試并沒(méi)有統一的指導書(shū)。針對500萬(wàn)OPS 的極限性能更沒(méi)有現成的測試方案可以照搬，華為測試小組通過(guò)前三次的測試積累，逆向倒推出一個(gè)基本的測試方案，其中從數據量、文件大小、文件操作及可靠性、部署簡(jiǎn)易程度等多方面梳理出測試準備項。

　　表一 測試需求項簡(jiǎn)表

　　同時(shí)， 根據梳理的測試需求項整理了測試的硬件環(huán)境。硬件需求分為客戶(hù)壓力測試機、OceanStor 9000節點(diǎn)及交換機配置。具體包含客戶(hù)測試機的選型、配置及OceanStor每節點(diǎn)的硬件配置，如，每節點(diǎn)內存&NVDIMM、網(wǎng)卡、SSD、SAS磁盤(pán)需求、交換機型號和接口數。

　　3、化整為零，步步為營(yíng)

　　大規模硬件設備互聯(lián)、軟件快速部署、系統性能調優(yōu)等問(wèn)題都是業(yè)界難以突破500萬(wàn)OPS基準測試的重要因素。華為測試項目組決定：初始使用小規模集群，做小規模測試，隨后增加測試節點(diǎn)，最終完成系統500萬(wàn)OPS測試目標。

　　3.1 小試牛刀

　　小規模集群驗證中，實(shí)證選定客戶(hù)機及內存、網(wǎng)卡配置可滿(mǎn)足測試需求，且按照線(xiàn)性擴展原則，20臺客戶(hù)機即可滿(mǎn)足測試終極測試目標需要。

　　并且OceanStor 9000在10、20、40節點(diǎn)規模的測試環(huán)境下，取得50萬(wàn)OPS，100萬(wàn)、200萬(wàn)OPS時(shí)延都低于2ms的結果，達到了小規模測試要求，取得了階段性的勝利。

　　圖1 10節點(diǎn)測試結果

　　圖2 20節點(diǎn)測試結果

　　圖3 40節點(diǎn)測試結果

　　3.1一步一腳印，再出發(fā)

　　通過(guò)了小規模的階段測試，項目組沒(méi)有時(shí)間進(jìn)行慶賀，馬不停蹄向500萬(wàn)OPS目標前進(jìn)。隨著(zhù)節點(diǎn)的增多，產(chǎn)品交付中的細小、低概率問(wèn)題被無(wú)數倍的放大，成為華為質(zhì)量里不可接受的問(wèn)題。

　　·質(zhì)量一致性

　　根據測試驗證進(jìn)度計劃，華為供應鏈采用多批次供貨策略。在進(jìn)行100節點(diǎn)集群驗證時(shí)，發(fā)現在軟件、系統配置相同情況下，其中一臺設備性能與其他設備相差10倍以上。經(jīng)過(guò)分析，發(fā)現該設備在相同操作系統配置，相同啟動(dòng)選項條件下，設備時(shí)鐘源與其他設備不一樣。針對這個(gè)問(wèn)題進(jìn)一步分析，最終判定是該臺設備的一個(gè)硬件器件參數異常，造成時(shí)鐘源選擇錯誤。通過(guò)增加物料參數檢查、調整該參數使用，在確保可靠的條件下，容忍更大的偏差等硬、軟多個(gè)手段解決該問(wèn)題。

　　·大規模集群部署和監控

　　使用單節點(diǎn)修改配置、順序啟動(dòng)等傳統的部署方案不能夠滿(mǎn)足大規模集群部署。OceanStor 9000設計了方便易用的部署和監控方式，在小規模集群驗證中，只要導入配置表單，系統即能自動(dòng)完成部署，完成文件系統裝載，20節點(diǎn)約半小時(shí)。經(jīng)優(yōu)化系統最大文件句柄數，協(xié)調各節點(diǎn)之間TCP鏈接、監控鏈接。100節點(diǎn)部署時(shí)間大約在1 小時(shí)左右，系統部署性能得到大幅提升。

　　·大規模系統參數調優(yōu)

　　系統中有大量的可調參數用于優(yōu)化性能，如何快速的找到最有效的參數，并調整到合適的值對于測試小組來(lái)說(shuō)是個(gè)巨大的挑戰。調優(yōu)小組將參數分為操作系統參數和巫山文件系統參數兩大類(lèi)；操作系統參數又分為協(xié)議棧相關(guān)和硬件驅動(dòng)相關(guān)兩類(lèi)。

　　文件系統調優(yōu)主要集中在各子系統對系統資源的分配，使用iostat、systemtap、perf、sar等系統工具以及自研延時(shí)分析統計工具，詳細分析網(wǎng)絡(luò )IO地圖、磁盤(pán)IO地圖，內存使用比例關(guān)系，流程耗時(shí)，線(xiàn)程及接口CPU占用情況，逐步調整出各子系統最佳線(xiàn)程配比，最佳內存分配比例，最佳CPU綁定策略。

　　通過(guò)觀(guān)察網(wǎng)絡(luò )獨立壓力測試的情況，分別對BIOSMaxPayload、中斷均衡腳本、TCP buffer等參數進(jìn)行調整，使得網(wǎng)卡延時(shí)縮短，吞吐量增大，最終網(wǎng)絡(luò )獨立壓力測試獲得最好效果。

　　最后將操作系統和文件系統整合到一起，確定調整參數有效，對有沖突或者還有明顯瓶頸的位置，再次綜合分析原因。

　　·并行的開(kāi)發(fā)和性能調優(yōu)版本管理

　　為了應對并行的功能開(kāi)發(fā)與性能調優(yōu)，每個(gè)模塊、接口、獨立流程開(kāi)發(fā)時(shí)即保證功能正確、異常處理完善、代碼無(wú)冗余、系統資源使用合理。每日自動(dòng)構建集成的LLT測試及時(shí)發(fā)現獨立單元可能的問(wèn)題，并且得出這些單元的性能情況。每次構建若發(fā)現單元性能差異，與發(fā)現問(wèn)題一樣及時(shí)得到解決。

　　迭代模塊交付后，在自動(dòng)化測試中集成性能測試，監控每個(gè)版本性能基線(xiàn)，出現性能倒退或者與理論分析不符，及時(shí)分析可能原因作出優(yōu)化。以下為性能優(yōu)化迭代流程圖。

　　所有優(yōu)化均落入版本發(fā)布流程落入交付版本，保證客戶(hù)能夠獲得高質(zhì)量高性能產(chǎn)品。

　　測試過(guò)程中碰到的問(wèn)題有大、有小，有預計之中，也有意料之外的難題，測試項目組齊心協(xié)力，解決了一個(gè)又一個(gè)的難題。隨著(zhù)測試數據的步步達成，終極目標近在咫尺。

　　4、一直在路上

　　100節點(diǎn)測試結果

　　OceanStor 9000產(chǎn)品提交四種集群規模（10、20、40、100節點(diǎn)）SPECsfs2008性能測試結果，并一次性通過(guò)SPEC認證。其中100節點(diǎn)規模的系統OPS可達到5,030,264,時(shí)延也低至1.63ms，在SPECsfs2008性能測試結果中遙遙領(lǐng)先。從四種規模測試結果可以很容易看出，OPS 性能與節點(diǎn)數量成正比，并且時(shí)延曲線(xiàn)趨勢一致（時(shí)延都在2ms以下），完全滿(mǎn)足系統大規模擴展時(shí)容量與性能的雙重需求，同時(shí)，最終的100節點(diǎn)部署時(shí)間在1小時(shí)左右，加快了實(shí)際項目交付的進(jìn)度。真實(shí)的測試環(huán)境、第三方認證的測試數據，大大消除了客戶(hù)對產(chǎn)品的疑慮，這些行動(dòng)的出發(fā)點(diǎn)不僅是因為華為人對產(chǎn)品質(zhì)量的信心，更是華為人“以客戶(hù)為中心”核心價(jià)值的體現。

　　“有時(shí)候會(huì )碰到客戶(hù)對產(chǎn)品性能參數的質(zhì)疑，我們會(huì )婉轉的給客戶(hù)看華為存儲產(chǎn)品經(jīng)過(guò)第三方認證的測試結果。華為存儲產(chǎn)品的規格、性能參數不是空洞洞的寫(xiě)在產(chǎn)品彩頁(yè)中的，而是實(shí)實(shí)在在通過(guò)真實(shí)測試環(huán)境測出來(lái)的，并是獲得第三方的認證的規格。同樣，在客戶(hù)側的測試中，我們的測試結果令客戶(hù)非常滿(mǎn)意，產(chǎn)品獲得了客戶(hù)的高度認可。”海量存儲產(chǎn)品總經(jīng)理袁遠描述了客戶(hù)從質(zhì)疑到信服的心理變化。

　　面對產(chǎn)品獲得的榮譽(yù)，測試項目組卻一刻不能停歇，OceanStor 9000極限容量的測試目標已經(jīng)確定， 項目組成員又開(kāi)始忙碌起來(lái)……

　　SPECsfs2008基準小百科

　　SPEC（Standard Performance Evaluation Corporation）標準性能評估機構是全球系統應用性能評測的權威機構之一（SPEC 組織官網(wǎng)：<http://www.spec.org/>）。 EMC、Netapp、IBM等60個(gè)IT主流廠(chǎng)家都是SPEC機構成員，均參與標準的制定并且通過(guò)該標準認證機構發(fā)布產(chǎn)品性能數據。

　　SPECsfs2008是文件服務(wù)應用的核心測評基準（<http://www.spec.org/sfs2008/> ）是將典型文件服務(wù)器應用進(jìn)行抽象，把真實(shí)的業(yè)務(wù)壓力轉化為可測試、可衡量的參數值：通過(guò)文件訪(fǎng)問(wèn)的吞吐量和響應時(shí)間評估文件服務(wù)器性能，同時(shí)保證存儲數據可靠性、一致性，并遵守接入一致性原則。

　　在SPEC官網(wǎng)上，通過(guò)測試的產(chǎn)品名單每季度刷新，最新的2013年第四季度通過(guò)測試的產(chǎn)品名單，可參閱：<http://www.spec.org/sfs2008/results/res2013q4/>。