在上一篇札記中，我們已經(jīng)介紹了IBM FlashSystem 840，以及參與此次測試的小伙伴——Dell PowerEdge R730XD和博科的支持2、4、8、10以及16Gb/s的6510光纖交換機。并將這些設備通過(guò)15組光纖線(xiàn)連接。物理上已經(jīng)連通，可以開(kāi)始測試了。
但在正式測試之前，我們還需要進(jìn)行一些驗證性測試。所謂的驗證性測試就是通過(guò)一些簡(jiǎn)單的測試工具來(lái)檢驗整個(gè)測試平臺是否正常運行，并且是否能夠讓每臺設備都能發(fā)揮其應有性能。
驗證性測試的結果雖然不會(huì )被納入最終的結果，但是這一環(huán)節卻非常作用。在這一環(huán)節，我們使用一臺Dell PowerEdge T630服務(wù)器作為計算端，通過(guò)一塊Emulex公司的8Gb/s FC適配卡與博科的6510光纖交換機相連，然后連接到FlashSystem 840的主機接口。
出于操作簡(jiǎn)單且結果實(shí)時(shí)直觀(guān)可見(jiàn)的考慮，在T630服務(wù)器上，使用Windows Server 2012 R2平臺，測試工具選用為人所熟知的IOmeter。
從FlashSystem 840上劃分出一個(gè)容量為2TB的邏輯卷，掛載到T630之上，然后使用IOmeter進(jìn)行測試，測試數據塊大小為4KB，測試方式為百分之百隨機讀。運行一段時(shí)間后，FlashSystem 840的IOPS穩定在14萬(wàn)IOPS左右，帶寬接近600 MB/s，如下圖所示：
在4KB隨機數據讀測試中，其性能表現超過(guò)14萬(wàn)IOps，帶寬在550MiB左右
對于磁盤(pán)系統而言，14萬(wàn)IOPS已經(jīng)很高了，何況只是在一個(gè)2U機箱內。但對于以追求性能為目標的全閃存陣列而言，明顯未能發(fā)揮其全部?jì)?yōu)勢。尤其距離FlashSystem 840所宣稱(chēng)的110萬(wàn)IOPS相距甚遠。
問(wèn)題出在哪兒呢？難道是單個(gè)邏輯核所提供的計算能力不夠？
剛剛在使用IOmeter進(jìn)行驗證時(shí)，我們只是用了一個(gè)“worker”，現在使用8個(gè)worker同時(shí)進(jìn)行測試。但是，所獲得性能指數幾乎沒(méi)有變化，看來(lái)計算能力不是瓶頸。而IBM FlashSystem 840的性能瓶頸也遠遠未到，那么就只剩下網(wǎng)絡(luò )方面的問(wèn)題了。
剛剛使用的是隨機4KB數據塊，現在我們使用連續的4KB數據塊來(lái)驗證，是否存在網(wǎng)絡(luò )帶寬瓶頸。測試結果如下圖顯示：
在4KB連續數據讀測試中，獲得了與4KB隨機讀測試幾乎一樣的成績(jì)——14萬(wàn)IOps，隨機讀與連續讀性能一致，這在磁盤(pán)系統幾乎是不可想象的。同時(shí)其帶寬也保持在550MiB左右。通過(guò)這兩次測試，我們初步判斷是帶寬不夠導致了FlashSystem 840的性能發(fā)揮。下面我們將進(jìn)行進(jìn)一步確認。
我們繼續使用IOmeter進(jìn)行驗證，但這次使用64KB大小的數據塊進(jìn)行連續讀測試。獲得的性能表現如下圖所示：
在使用64KB數據連續讀測試中，IOps超過(guò)1.2萬(wàn)，最為重要的是，其帶寬達到了785MiB。就8Gb/s FC的性能而言，其幾乎已經(jīng)達到了8Gb/s的理論速度（800MiB/s），由這點(diǎn)可以確定，這一驗證性測試環(huán)節的瓶頸在與帶寬。
提高帶寬通常有兩種方法。第一種就是實(shí)用帶寬更高的光纖適配卡，比如將Emulex的8Gb/s FC適配卡換為帶寬更高的16Gb/s FC適配卡。當然這需要FlashSystem 840和博科FC交換機都支持16Gb/s FC。上一篇札記已經(jīng)提到，FlashSystem 840是對16Gb/s FC提供支持的；在博科的官網(wǎng)上，我們也查到，這款6510光纖交換機也是支持16Gb/s FC的。但是我們希望從Emulex公司借到的16Gb/s FC適配卡卻遲遲未能到位，所以第一種方法暫時(shí)不可行。
第二種方法就是為T(mén)630服務(wù)器再添加幾張8Gb/s FC適配器，正好我們實(shí)驗室共有三張8Gb/s 光纖HBA卡，可以全用在T630之中。但這里面還需要進(jìn)行設置。因為，將多張光纖HBA卡在同一個(gè)服務(wù)器中使用，其仍是單獨的網(wǎng)卡，需要將這多張適配卡在邏輯上被視為一張HBA卡。這就需要用到MPIO軟件，即多路徑IO軟件。
在Windows Server 2012 R2平臺下，其自帶有MPIO插件，通過(guò)服務(wù)器管理器可直接安裝。安裝好之后，對MPIO進(jìn)行設置，如下圖所示：
在安裝了多路徑IO插件之后，就可以在磁盤(pán)管理界面為測試卷配置MPIO設置。如圖，我們將策略設置為“協(xié)商會(huì )議”。
盡管安裝了MPIO，但我們在同時(shí)使用3張8Gb/s光纖HBA卡時(shí)，仍遇到一些限制，比如三張HBA卡總共6個(gè)端口，但在這之中，我們卻只能同時(shí)使用3個(gè)端口，另外3個(gè)端口不能使用。如果要解決這個(gè)問(wèn)題，需要在進(jìn)入博科6510光纖交換機管理界面創(chuàng )建相應的Zone。
但此時(shí)，我們是為了驗證是否因為帶寬問(wèn)題限制了FlashSystem 840的性能發(fā)揮，所以劃分Zone這一工作可以留到以后解決。
再次使用IOmeter工具，使用4KB數據塊對FlashSystem 840進(jìn)行隨機讀測試，盡管只有三個(gè)端口，但FlashSystem 840的性能表現明顯提升，如下圖所示：
如上圖所示，在使用三個(gè)8Gb/s FC端口，并設置多路徑IO的情況下，使用4KB隨機讀進(jìn)行測試，FlashSystem 840能夠提供近50萬(wàn)的IOPS，且帶寬達到2GB/s，如果采用基于磁盤(pán)的存儲系統，這幾乎是不可想象的。
盡管此驗證過(guò)程并沒(méi)有發(fā)揮出FlashSystem 840最極限的IOPS性能，但在使用3個(gè)8Gb/s FC端口的情況下，能夠獲得近50W的IOPS，已經(jīng)很難得，如果能將6個(gè)端口全部使用，相信應該能夠最大限度發(fā)揮FlashSystem 840的性能優(yōu)勢。在這之中，服務(wù)器、光纖HBA卡和FlashSystem 840都發(fā)揮了各自的作用。
此次驗證環(huán)節所采用的Dell PowerEdge T630雖然只是一個(gè)塔式服務(wù)器，但其配備了雙路CPU，盡管CPU配備的是Intel公司最新E5 v3系列中的中端產(chǎn)品——E5 2660，每CPU內10個(gè)物理核，開(kāi)啟超線(xiàn)程，共計40個(gè)邏輯核，提供了充足的計算性能。
其次，Emulex公司的8Gb/s光纖HBA卡也相當給力，盡管最新的16Gb/s光纖HBA沒(méi)能到位，但多個(gè)光纖HBA卡通過(guò)MPIO提供了充足的帶寬。
最后當然是IBM FlashSystem 840全閃存陣列提供了強大的存儲性能，尤其是4KB隨機讀測試中，盡管驗證環(huán)節使用的是基準測試工具，并不能全部代表實(shí)際環(huán)境中的性能成績(jì)，但其表現值得期待。
IBM FlashSystem 840在真實(shí)環(huán)境下的性能表現又是怎樣的呢？請關(guān)注我們稍后的正式測試。同時(shí)，我們還將邀請兩家知名互聯(lián)網(wǎng)公司的工程師來(lái)進(jìn)行實(shí)際環(huán)境模擬測試，他們又將如何測試FlashSystem 840呢？我們稍后再敘。
