大數據時(shí)代的到來(lái)，令企業(yè)用戶(hù)認識到利用大數據幫助企業(yè)進(jìn)行經(jīng)營(yíng)決策的重要性，各企業(yè)紛紛著(zhù)手部署自己的大數據分析平臺。但平臺部署的復雜度及維護難度卻成為企業(yè)用戶(hù)大數據發(fā)展的路障。
大數據處理分析的結果將對用戶(hù)的決策產(chǎn)生直接影響，因此，數據處理過(guò)程需要更加實(shí)時(shí)、穩定和準確，這些都對進(jìn)行大數據分析處理的動(dòng)力源平臺提出了更高的性能要求。此外，企業(yè)的業(yè)務(wù)變動(dòng)會(huì )帶來(lái)大數據處理資源需求的頻繁變動(dòng)，無(wú)論對于自建系統還是云平臺都會(huì )造成成本壓力，同時(shí)也帶來(lái)資源浪費。
面對挑戰，可以快速部署、彈性擴展的金山云KMR產(chǎn)品能提供多種節點(diǎn)配置，彈性增加或減少節點(diǎn)，應對用戶(hù)多變的業(yè)務(wù)需求；同時(shí)，分鐘級集群部署和擴容能力，可以幫助用戶(hù)快速部署。
圍繞KMR，金山云還提供云存儲、云主機、關(guān)系型數據庫等一系列服務(wù)，為用戶(hù)提供延伸服務(wù)。同時(shí)，KMR通過(guò)與其他產(chǎn)品整合，也使用戶(hù)的運營(yíng)成本更低，數據可靠性更高。
通過(guò)引入英特爾至強處理器E5家族、英特爾固態(tài)盤(pán)以及英特爾萬(wàn)兆位以太網(wǎng)服務(wù)器適配器等產(chǎn)品，KMR產(chǎn)品在處理能力、穩定性等多個(gè)性能指標上都擁有卓越表現。而這些優(yōu)勢又如何為企業(yè)帶來(lái)更好的體驗呢？
完全托管，集群分鐘級快速部署
過(guò)去，企業(yè)通過(guò)自建平臺來(lái)進(jìn)行計算、存儲、數據處理等工作，這種方式會(huì )消耗大量資源在軟、硬件維護上。例如，部署一個(gè)典型的Hadoop平臺，通常需要經(jīng)歷業(yè)務(wù)評估、設備選型采購、硬件上架調試、操作系統和平臺軟件安裝調試等一系列復雜工作，花費1-3個(gè)月的時(shí)間。同時(shí)，企業(yè)在專(zhuān)業(yè)維護人員上的缺失也使自建平臺在安全性、系統穩定性等方面的表現不盡如人意。因此，很多企業(yè)都逐漸將目光轉移到云平臺上。
盡管如此，向云平臺的轉移卻并不能完全消除用戶(hù)在部署上遇到的問(wèn)題，面對不同的業(yè)務(wù)需求，用戶(hù)仍需要耗費一定的資源去執行部署和維護的工作。KMR的重要優(yōu)勢，就是能最大程度地幫助用戶(hù)降低部署的復雜度和運維的工作量。通過(guò)采用彈性計算服務(wù) （Kingsoft Elastic Compute，KEC） 構建集群，通常情況下只需幾分鐘即可自動(dòng)完成部署工作，用戶(hù)只需關(guān)心數據處理任務(wù)本身，而不需要關(guān)注硬件和底層系統的運維工作。
性能優(yōu)化，大數據分析即時(shí)響應
大數據分析處理的核心目的是為行為決策提供參考，因此時(shí)效性是評價(jià)其分析平臺能力好壞的重要指標。在一些特殊場(chǎng)景中數據的處理分析速度帶來(lái)的影響更不容小覷。
英特爾固態(tài)盤(pán)以及英特爾萬(wàn)兆位以太網(wǎng)服務(wù)器適配器的引入，令KMR性能表現卓越。適用于PCIe的英特爾數據中心固態(tài)盤(pán)可以直接為英特爾至強處理器提供極致的數據吞吐量，在KMR中采用的高性能英特爾以太網(wǎng)聚合網(wǎng)絡(luò )適配器X520-SR2，針對苛刻的數據中心/云環(huán)境提供了高度的靈活性以及可擴展性。
在硬件產(chǎn)品以外，英特爾在各類(lèi)大數據分析軟件庫上的貢獻也為金山云的性能加速提供了動(dòng)力。例如英特爾高性能數據分析加速庫，包含了基于英特爾平臺優(yōu)化的常用機器學(xué)習算法庫（如K-Means，LR，PCA等）。在英特爾工程師的協(xié)助下，金山云完成了英特爾數據分析加速庫的評測。數據分析加速庫K-Means算法對應傳統的SparkML-Lib算法有近4.6倍性能提升。
生態(tài)豐富，彈性服務(wù)有效降低TCO
用戶(hù)數據從產(chǎn)生到最終體現價(jià)值，包含收集、存儲、分析處理和消費等多個(gè)環(huán)節，每個(gè)環(huán)節又有多種多樣的需求。除了KMR以外，大數據的處理與分析還需要多種云服務(wù)能力的配合。基于金山云豐富的生態(tài)環(huán)境和良好的開(kāi)放性，KMR不僅提供了豐富的開(kāi)源生態(tài)組件，還可以和其他云服務(wù)產(chǎn)品以及第三方的解決方案無(wú)縫集成，共同構建端到端的大數據生態(tài)。
以存儲為例，KMR提供了金山云KS3（標準存儲服務(wù)）訪(fǎng)問(wèn)接口。在進(jìn)行數據處理時(shí)，通過(guò)內部高速網(wǎng)絡(luò )直接訪(fǎng)問(wèn)KS3的同時(shí)，也可將原始數據統一匯總到這里。KMR集群中運行的MapReduce、Spark等作業(yè)就可以直接調用KS3中存儲的數據進(jìn)行計算，并把結果寫(xiě)回到KS3。KS3提供了較低的使用成本和極高的數據可靠性，保證了在集群釋放時(shí)仍然可以持久地存儲原始數據和計算結果。
展望未來(lái)，新技術(shù)助推更優(yōu)服務(wù)
實(shí)踐證明，英特爾至強處理器E5產(chǎn)品家族、英特爾固態(tài)盤(pán)以及英特爾萬(wàn)兆位以太網(wǎng)服務(wù)器適配器有助于KMR性能提升，獲得更好用戶(hù)體驗。同時(shí)，英特爾不斷引領(lǐng)的各項大數據開(kāi)源技術(shù)正為大數據處理分析技術(shù)的發(fā)展提供源源不斷的動(dòng)力。
現在，英特爾開(kāi)源了基于A(yíng)pacheSpark的分布式深度學(xué)習庫BigDL，可以直接運行在金山云一類(lèi)的Hadoop/Spark集群上，并允許用戶(hù)編寫(xiě)標準的Spark程序來(lái)進(jìn)行深度學(xué)習的訓練與預測。
未來(lái)，通過(guò)提供類(lèi)似于BigDL的先進(jìn)技術(shù)，英特爾可以幫助金山云的用戶(hù)在KMR及相關(guān)平臺上獲得數據存儲、預處理、分析和深度學(xué)習等一站式服務(wù)，獲得更強勁的大數據分析和處理能力。
