隨著(zhù)大數據觀(guān)念逐步深入,數據分析帶來(lái)的價(jià)值愈發(fā)被大家重視起來(lái)。從PC時(shí)代,到互聯(lián)網(wǎng)時(shí)代、移動(dòng)互聯(lián)網(wǎng)時(shí)代,數據應用不再是簡(jiǎn)單的分析和挖掘,而是更加智能化。
典型企業(yè)分析場(chǎng)景主要分為實(shí)時(shí)分析處理,批量分析處理以及交互式查詢(xún)處理。當前常見(jiàn)的解決方案用不同技術(shù)解決不同問(wèn)題:使用Hana,Oracle Exadata處理實(shí)時(shí)分析場(chǎng)景;使用Teradata,Greenplum處理批量分析場(chǎng)景;使用Oracle和SQL Server等處理交互式查詢(xún)場(chǎng)景。
從單一場(chǎng)景來(lái)看都是不錯的選擇,但是站在整體數據域視角去看,這種搭積木式的方案帶來(lái)諸多問(wèn)題,例如組件多,開(kāi)發(fā)方式不統一,數據格式不統一,反復轉換消耗算力和存儲空間;組件間的數據流轉開(kāi)發(fā)復雜,流轉效率低;跨集群,跨組件數據一致性差等。

華為云GaussDB(DWS)從兩個(gè)維度構筑能力,為企業(yè)用戶(hù)提供一站式分析能力:
在全并行分布式架構上,無(wú)縫融合時(shí)序引擎、OLAP引擎、CEP引擎,同時(shí)支撐實(shí)時(shí)分析、批量分析和交互式查詢(xún)等不同業(yè)務(wù)負載,達到開(kāi)發(fā)統一、部署統一、維護統一、數據格式統一,真正做到一個(gè)產(chǎn)品包辦的一站式分析;
異構平臺數據融合、協(xié)同分析,構筑全域數據一體化。當前企業(yè)IT系統不會(huì )是白紙一張,在不同階段曾經(jīng)采用不同技術(shù)建設的多套系統承載著(zhù)不同的業(yè)務(wù),這些系統還未完成歷史使命,將延續使用相當長(cháng)一段時(shí)間。華為云GaussDB(DWS)支持多樣性的數據融合分析能力,無(wú)縫融合并協(xié)同分析企業(yè)現有平臺數據,讓老IT系統產(chǎn)生的數據煥發(fā)新價(jià)值。
一、T+0實(shí)時(shí)分析
業(yè)務(wù)場(chǎng)景中實(shí)時(shí)數據源種類(lèi)繁多,針對不同數據源采用不同實(shí)時(shí)處理技術(shù)。時(shí)序引擎支持時(shí)序數據分析,內置100多種時(shí)序分析算法,將時(shí)序數據接入后實(shí)時(shí)合并;流引擎接入基于Kafka/Flink等流組件產(chǎn)生的流式數據,支持對流數據自定義持續計算。
二、全并行批量分析
基于Share-nothing分布式架構,華為云GaussDB(DWS)天然具備大規模的分布式并行處理能力。多層級并行技術(shù)將系統性能推至極致,包括節點(diǎn)間并行、節點(diǎn)內SMP并行,CPU指令級并行以及動(dòng)態(tài)編譯技術(shù)。同時(shí),通過(guò)自研TCP多流、多線(xiàn)程包合并、通信代理等技術(shù),將scale-out能力推至極致,華為云GaussDB(DWS)也是目前唯一通過(guò)信通院2048節點(diǎn)大集群權威認證的分布式數據庫產(chǎn)品。
三、多場(chǎng)景交互式查詢(xún)
對短查詢(xún)做了全流程梳理,從接入、SQL解析、計劃發(fā)送、執行和數據掃描進(jìn)行了一系列優(yōu)化;由于A(yíng)d-hoc查詢(xún)的負載具有不可預見(jiàn)性,經(jīng)常可能會(huì )出現單一查詢(xún)拖慢甚至拖垮整個(gè)集群的情況,華為云GaussDB(DWS)內置動(dòng)態(tài)智能負載管理組件,實(shí)時(shí)監控運行狀態(tài)和資源消耗,對異常作業(yè)自動(dòng)預警并智能干預,例如內存占用過(guò)高,運行時(shí)間過(guò)長(cháng),大量數據廣播等異常情況,系統會(huì )自動(dòng)查殺等。
以銀行業(yè)務(wù)為例,“手機銀行用戶(hù)實(shí)時(shí)數據查詢(xún)”與“網(wǎng)銀系統交易流水批量作業(yè)”是最常見(jiàn)的業(yè)務(wù)場(chǎng)景,采用2套技術(shù)方案或2個(gè)平臺分別處理,則會(huì )出現資源重復投入。
使用華為云GaussDB(DWS)實(shí)現2個(gè)業(yè)務(wù)場(chǎng)景需求,數據無(wú)需反復轉換和流轉,提升了業(yè)務(wù)處理效率,節省運維成本。2小時(shí)可完成7萬(wàn)個(gè)核心業(yè)務(wù)的銀行日增量數據歸檔和數據加工,同時(shí)支持手機銀行終端7x24小時(shí)實(shí)時(shí)查詢(xún);當上千萬(wàn)個(gè)人用戶(hù)與幾十萬(wàn)企業(yè)用戶(hù)同時(shí)使用系統,并發(fā)進(jìn)行日間批量作業(yè)10萬(wàn)個(gè)的批量高峰期,實(shí)時(shí)查詢(xún)可在3秒內響應,真正做到跑批和實(shí)時(shí)作業(yè)互不影響。
華為云GaussDB(DWS) 面向未來(lái),構筑新一代、全場(chǎng)景、云數據倉庫,一站式數據分析,釋放非凡數據價(jià)值,做企業(yè)數字化轉型的最佳伙伴。