2016年10月28日上午SPEC 2016亞洲峰會(huì )上，SPEC架構師Jeremy Arnold與SPEC開(kāi)放系統委員會(huì )主席Steve Realmuto一起揭開(kāi)了業(yè)界首個(gè)云平臺測試基準SPEC Cloud IaaS 2016的神秘面紗。
在會(huì )上Jeremy Arnold向大家詳細介紹了在Cloud IaaS 2016中的云計算基準測試指標，及制定這些指標的原因。Steve Realmuto就云計算基準測試的具體內容和測試方法向大家做了詳細介紹。
SPEC對云計算的觀(guān)點(diǎn)
首先，Jeremy Arnold在綜合介紹云計算、公有云、私有云與混合云后，向大家介紹了開(kāi)放系統組（OSG）對云計算的觀(guān)點(diǎn)：白盒云（Whitebox Cloud）與黑盒云（Blackbox Cloud）。
Jeremy Arnold（SPECpower架構師）
白盒云（Whitebox Cloud）
白盒云一般來(lái)說(shuō)，就是私有云。白盒云的用戶(hù)可以知道所有的軟件和硬件信息。比較像在一個(gè)典型的Benchmark環(huán)境中看到得那樣，用戶(hù)把軟件和硬件組合到一起，在這環(huán)境里面可以控制所有的事情。這與私云環(huán)境比較類(lèi)似，你對軟件和硬件的配置會(huì )有一些控制權。
黑盒云（Blackbox Cloud）
黑盒云，它一般來(lái)說(shuō)是公有云的結構。比如說(shuō)亞馬遜和谷歌的云，但它也有可能是一個(gè)托管的私有云。你可以來(lái)充分的使用云里面的資源，你也可以來(lái)購買(mǎi)云里面的時(shí)長(cháng)，可以來(lái)購買(mǎi)云供應商的各種服務(wù)，你知道可以用什么樣的資源，但是你其實(shí)并不清楚這個(gè)云是如何被管理的，也不清楚它里面到底涵蓋哪一些資源。它其實(shí)就是一個(gè)黑盒子或者黑匣子，其實(shí)你不知道里面是什么。
云計算需要什么樣的測試
無(wú)論是軟、硬件的信息都了解的白盒云還是對所有信息都一無(wú)所知的黑盒云，我們都想要對它去進(jìn)行測量，測量什么？或者說(shuō)云的Benchmark測試是什么呢？在SPEC的研究組委員會(huì )里面，對云計算有兩個(gè)不同的測試Benchmark “Scalability”和“Elasticity”。
Scalability可以看作在山上不斷的攀登，也就是說(shuō)云可以持續不斷的處理各種需求，我們不斷來(lái)增加的Workload，這就稱(chēng)作Scalability。
Elasticity是指隨著(zhù)我們不斷的在云上增加越來(lái)越多的Workload，它的Scalability仍然是一致的。它的性能不會(huì )隨著(zhù)Workload的增加，而有所降低。
在公共云上會(huì )有各種各樣的資源，可以把它稱(chēng)作無(wú)限、無(wú)窮的，但仍然會(huì )有限值。比如說(shuō)你采用的某一虛擬機，Scalability會(huì )在一定的范圍內會(huì )達到一個(gè)限值。當然我們可以在公有云環(huán)境中，通過(guò)增添虛擬機的數量使處理能力不斷提升（增加Elasticity），但這樣做的成本也會(huì )不斷的攀升。同時(shí)還需要考慮性能的差異性。公有云中有其他租戶(hù)在不同時(shí)間使用云計算資源時(shí)，也會(huì )對用戶(hù)虛擬機Scalability造成不同的影響。
從另一方面來(lái)說(shuō)，在私有云方面，我們獲得非常好的Elasticity，你可以控制每一件事情，這樣的話(huà)就確保Scalability不會(huì )有所改變，即使隨著(zhù)Workload的增加，Scalability也不會(huì )有所改變，在私有云里面，你會(huì )對環(huán)境會(huì )有較多的控制權，這是跟公共云相比的。但是我們在私有云里面也是要考慮性能。
如何正確評估一個(gè)云，如何才能使Scalability與Elasticity更具實(shí)際意義。這也許是一個(gè)很大挑戰，包括SPEC云委員會(huì )以外的成員，都會(huì )覺(jué)得這是一個(gè)挑戰，有時(shí)候Benchmark相當于是在一個(gè)黑匣子的環(huán)境里面。你如何能夠做出這樣的Benchmark？你如何能夠把它跟其他的事情進(jìn)行對比？當云計算環(huán)境進(jìn)行工作的時(shí)候，工作的性能也需要得以測量。我們有時(shí)候會(huì )說(shuō)，我們想要關(guān)注于云本身，而不是Workload上面，但是我們仍然需要 從Workload去評估云本身。
Cloud IaaS 2016 Benchmark要做的就是可以在任何一個(gè)云計算資源上進(jìn)行測量，同時(shí)把這結果進(jìn)行一個(gè)文件編撰。在這測試過(guò)程中，云的本身不會(huì )被改變。但是我們希望還是有一個(gè)初始配置的Elasticity來(lái)做為評估的基準。并且在未來(lái)，我們會(huì )設計更多的Workload測評方法，來(lái)應對云計算技術(shù)快速發(fā)展。所以說(shuō)這個(gè)Benchmark會(huì )不斷的進(jìn)行調整，在未來(lái)我們看新的Cloud IaaS Benchmark，會(huì )有新的Workload在這上面。
Scalability與Elasticity的評估方式
接下來(lái)由Steve Realmuto向我們介紹了SPEC Cloud IaaS 2016 Benchmark有關(guān)于Scalability與Elasticity的評估方式。
Steve Realmuto（Oracle/SPEC開(kāi)放系統組（OSG）主席）
Cloud IaaS 2016測試基準基于YCSB（Yahoo Cloud Serving Benchmark）+Cassandra分布式數據庫，Cassandra由Facebook開(kāi)發(fā)，在各個(gè)運營(yíng)商中的應用十分廣泛。而且，OSG cloud小組進(jìn)行了大量的調整，例如在原有的YCSB基準中，數據庫的讀寫(xiě)操作比例為7:3，Cloud IaaS 2016的讀寫(xiě)比例調整為95:5，這樣比例更符合實(shí)際應用場(chǎng)景。
SPEC Cloud_IaaS可以模擬多種I/O和CPU密集型云計算工作負載，模擬標準社交媒體NoSol數據庫應用場(chǎng)景，對云計算軟、硬件產(chǎn)品的多種性能指標進(jìn)行Benchmark測試。協(xié)助用戶(hù)更加全向的對云計算產(chǎn)品進(jìn)行深入了解。同時(shí)也可以協(xié)助云計算廠(chǎng)商，對自身產(chǎn)品進(jìn)行完善，盡量減少現實(shí)運營(yíng)過(guò)程中，云計算系統故障的發(fā)生。
SPEC Cloud IaaS在設計時(shí)充分考慮了不同用戶(hù)的技術(shù)水平，既可以實(shí)現測試環(huán)境的自動(dòng)部署及運行，自主測試及輸出測試報告，也可以依據用戶(hù)特殊需求手動(dòng)配置運行環(huán)境，既適合一般大型客戶(hù)及研究機構使用，也可以滿(mǎn)足中小型企業(yè)的測試需求。
