CTI論壇(ctiforum)8月25日消息(記者 李文杰):企業(yè)級基礎云服務(wù)商青云QingCloud日前宣布,Spark服務(wù)作為QingCloud大數據基礎平臺的重要組件現已正式上線(xiàn)。通過(guò)QingCloud Spark服務(wù),用戶(hù)能夠在2-3分鐘內創(chuàng )建一個(gè)Spark集群,并支持橫向和縱向的在線(xiàn)伸縮,提供豐富的監控告警服務(wù),極大地簡(jiǎn)化了大數據集群的運維和管理,讓用戶(hù)從繁重的運維工作中解脫出來(lái),投入到業(yè)務(wù)創(chuàng )新中。
青云 QingCloud Spark 服務(wù)正式上線(xiàn)
數據是新一代的自然資源,是判別企業(yè)競爭力的試金石。然而,隨著(zhù)數據量的爆炸式增長(cháng)、數據來(lái)源和結構的多樣化,傳統IT基礎架構已無(wú)法滿(mǎn)足企業(yè)對數據處理的需求,Hadoop、Spark等支持PB級別數據的分布式存儲和分布式計算框架應運而生。
青云QingCloud系統工程師&大數據基礎平臺負責人周小四(Ray Zhou)表示,基礎架構是大數據應用的基石,如果沒(méi)有底層數據架構的支持,大數據就是紙上談兵。此次推出的Spark服務(wù)就是基于QingCloud穩定高效、資源秒級響應、彈性可伸縮的IaaS之上,能夠最大限度地發(fā)揮Spark輕巧、靈活和快速的優(yōu)勢。
Spark 是繼Hadoop之后新一代的大數據分布式處理平臺。它是一個(gè)基于內存的、容錯型的分布式計算引擎。與Hadoop MapReduce相比,Spark的計算速度要快100倍。即便同樣采用硬盤(pán)計算,Spark也比MapReduce快10倍。Spark卓越的用戶(hù)體驗以及統一的技術(shù)堆棧基本上解決了大數據領(lǐng)域所有核心問(wèn)題,使得Spark迅速成為當前最為熱門(mén)的大數據基礎平臺。
Spark 提供了多語(yǔ)言支持,如Scala、Python、Java、R等,支持交互式操作。它在RDD(Resilient Distributed Datasets,一個(gè)容錯的、并行的數據結構) 基礎之上提供了Spark Streaming流式計算,結構化數據處理組件Spark SQL,機器學(xué)習庫 MLlib 以及圖計算GraphX等功能。
具體而言,青云QingCloud提供的Spark服務(wù)有如下特征:
一鍵部署:QingCloud用戶(hù)只需簡(jiǎn)單的配置,就能夠在2-3分鐘內搭建出一個(gè)Spark集群,并且通過(guò)豐富的工具和服務(wù),實(shí)現高效簡(jiǎn)便的Spark運維管理。QingCloud提供多樣化、組件化的服務(wù)模式,用戶(hù)可以根據自己的業(yè)務(wù)需求,組建個(gè)性化的解決方案。
在線(xiàn)伸縮:Spark服務(wù)支持橫向和縱向在線(xiàn)伸縮,以滿(mǎn)足用戶(hù)對計算能力和容量的需求,橫向伸縮對用戶(hù)業(yè)務(wù)的連續性不會(huì )產(chǎn)生任何影響。后續還會(huì )配合AutoScaling,達到Spark集群自動(dòng)伸縮的效果。
遷移成本低:QingCloud Spark服務(wù)采用原生開(kāi)源解決方案,并且采用最新的版本(目前為1.4.1版本,未來(lái)還會(huì )持續更新,并保留三個(gè)最新版本),具有良好的向下兼容特性,便于用戶(hù)將自有Spark集群遷移至云端,也不限制用戶(hù)從Spark服務(wù)遷移至自有集群。使用QingCloud的Spark服務(wù),用戶(hù)完全不必擔心產(chǎn)生Vendor lock-in的束縛。
監控告警:QingCloud提供了對每個(gè)節點(diǎn)資源的監控告警服務(wù),包括CPU使用率、內存使用率、硬盤(pán)使用率、硬盤(pán)IOPS、硬盤(pán)吞吐量等,以幫助用戶(hù)更好的管理和維護Spark集群。
安全性:Spark集群運行于私有網(wǎng)絡(luò )內,結合QingCloud提供的高性能存儲和超高性能存儲,在保障高性能的同時(shí)兼顧用戶(hù)的數據安全。
青云QingCloud CEO 黃允松(Richard Huang)表示,Spark服務(wù)的發(fā)布標志著(zhù)QingCloud完整的大數據基礎平臺已初步建立,接下來(lái)QingCloud還會(huì )陸續發(fā)布一系列大數據相關(guān)服務(wù),如Hadoop、Cassandra、Hive、HBase和Storm等。未來(lái),大數據、數據庫、緩存和對象存儲將同IaaS組件一起構成QingCloud完整的數據產(chǎn)品生態(tài)圈,提供一站式的計算、存儲和數據處理服務(wù),更好地幫助用戶(hù)實(shí)現數據的價(jià)值。
關(guān)于青云QingCloud
青云QingCloud 是全球首家實(shí)現資源秒級響應并按秒計量的基礎云服務(wù)商,致力于為企業(yè)用戶(hù)提供安全可靠、性能卓越、按需、實(shí)時(shí)的 IT 資源交付平臺。其產(chǎn)品包含完整的 IaaS 層組件、 PaaS 層服務(wù)及超融合硬件設備。
QingCloud 采用分布式塊存儲系統確保高性能 I/O,部署實(shí)時(shí)異地副本保障數據安全,通過(guò)云端 SDN 實(shí)現靈活易用的專(zhuān)享私有云服務(wù)(VPC),提供塊設備級的備份與恢復,設計實(shí)時(shí) P2P 機器人社區協(xié)作確保故障無(wú)害,支持全透明代理模式的負載均衡器,提供基于自身 IaaS 平臺構建的 PaaS 服務(wù),并無(wú)限制開(kāi)放全部功能 API。
在為逾 35,000 家企業(yè)提供公有云服務(wù)的同時(shí),QingCloud 面向中、大型政企用戶(hù)提供包含軟硬件產(chǎn)品的云計算整體解決方案,幫助企業(yè)用戶(hù)構建和運維更加可靠、敏捷、高效的 IT 基礎資源調度平臺,有效降低總擁有成本和運維投入。