• <strike id="fdgpu"><input id="fdgpu"></input></strike>
    <label id="fdgpu"></label>
    <s id="fdgpu"><code id="fdgpu"></code></s>

  • <label id="fdgpu"></label>
  • <span id="fdgpu"><u id="fdgpu"></u></span>

    <s id="fdgpu"><sub id="fdgpu"></sub></s>
    您當前的位置是:  首頁(yè) > 資訊 > 國內 >
     首頁(yè) > 資訊 > 國內 >

    華為云GaussDB(DWS)首席架構師解讀一站式數據分析能力

    --HDC.Cloud 2021

    2021-04-29 13:59:16   作者:   來(lái)源:CTI論壇   評論:0  點(diǎn)擊:


      4月26日,在華為開(kāi)發(fā)者大會(huì )2021(Cloud)上,華為云數據使能DAYU主力產(chǎn)品GaussDB(DWS)首席架構師解讀了GaussDB(DWS)的一站式數據分析能力。
      隨著(zhù)大數據觀(guān)念逐步深入,數據分析帶來(lái)的價(jià)值愈發(fā)被大家重視起來(lái)。從PC時(shí)代,到互聯(lián)網(wǎng)時(shí)代、移動(dòng)互聯(lián)網(wǎng)時(shí)代,數據應用不再是簡(jiǎn)單的分析和挖掘,而是更加智能化。
      典型企業(yè)分析場(chǎng)景主要分為實(shí)時(shí)分析處理,批量分析處理以及交互式查詢(xún)處理。當前常見(jiàn)的解決方案用不同技術(shù)解決不同問(wèn)題:使用Hana,Oracle Exadata處理實(shí)時(shí)分析場(chǎng)景;使用Teradata,Greenplum處理批量分析場(chǎng)景;使用Oracle和SQL Server等處理交互式查詢(xún)場(chǎng)景。
      從單一場(chǎng)景來(lái)看都是不錯的選擇,但是站在整體數據域視角去看,這種搭積木式的方案帶來(lái)諸多問(wèn)題,例如組件多,開(kāi)發(fā)方式不統一,數據格式不統一,反復轉換消耗算力和存儲空間;組件間的數據流轉開(kāi)發(fā)復雜,流轉效率低;跨集群,跨組件數據一致性差等。
      華為云GaussDB(DWS)從兩個(gè)維度構筑能力,為企業(yè)用戶(hù)提供一站式分析能力:
      在全并行分布式架構上,無(wú)縫融合時(shí)序引擎、OLAP引擎、CEP引擎,同時(shí)支撐實(shí)時(shí)分析、批量分析和交互式查詢(xún)等不同業(yè)務(wù)負載,達到開(kāi)發(fā)統一、部署統一、維護統一、數據格式統一,真正做到一個(gè)產(chǎn)品包辦的一站式分析;
      異構平臺數據融合、協(xié)同分析,構筑全域數據一體化。當前企業(yè)IT系統不會(huì )是白紙一張,在不同階段曾經(jīng)采用不同技術(shù)建設的多套系統承載著(zhù)不同的業(yè)務(wù),這些系統還未完成歷史使命,將延續使用相當長(cháng)一段時(shí)間。華為云GaussDB(DWS)支持多樣性的數據融合分析能力,無(wú)縫融合并協(xié)同分析企業(yè)現有平臺數據,讓老IT系統產(chǎn)生的數據煥發(fā)新價(jià)值。
      一、T+0實(shí)時(shí)分析
      業(yè)務(wù)場(chǎng)景中實(shí)時(shí)數據源種類(lèi)繁多,針對不同數據源采用不同實(shí)時(shí)處理技術(shù)。時(shí)序引擎支持時(shí)序數據分析,內置100多種時(shí)序分析算法,將時(shí)序數據接入后實(shí)時(shí)合并;流引擎接入基于Kafka/Flink等流組件產(chǎn)生的流式數據,支持對流數據自定義持續計算。
      二、全并行批量分析
      基于Share-nothing分布式架構,華為云GaussDB(DWS)天然具備大規模的分布式并行處理能力。多層級并行技術(shù)將系統性能推至極致,包括節點(diǎn)間并行、節點(diǎn)內SMP并行,CPU指令級并行以及動(dòng)態(tài)編譯技術(shù)。同時(shí),通過(guò)自研TCP多流、多線(xiàn)程包合并、通信代理等技術(shù),將scale-out能力推至極致,華為云GaussDB(DWS)也是目前唯一通過(guò)信通院2048節點(diǎn)大集群權威認證的分布式數據庫產(chǎn)品。
      三、多場(chǎng)景交互式查詢(xún)
      對短查詢(xún)做了全流程梳理,從接入、SQL解析、計劃發(fā)送、執行和數據掃描進(jìn)行了一系列優(yōu)化;由于A(yíng)d-hoc查詢(xún)的負載具有不可預見(jiàn)性,經(jīng)常可能會(huì )出現單一查詢(xún)拖慢甚至拖垮整個(gè)集群的情況,華為云GaussDB(DWS)內置動(dòng)態(tài)智能負載管理組件,實(shí)時(shí)監控運行狀態(tài)和資源消耗,對異常作業(yè)自動(dòng)預警并智能干預,例如內存占用過(guò)高,運行時(shí)間過(guò)長(cháng),大量數據廣播等異常情況,系統會(huì )自動(dòng)查殺等。
      以銀行業(yè)務(wù)為例,“手機銀行用戶(hù)實(shí)時(shí)數據查詢(xún)”與“網(wǎng)銀系統交易流水批量作業(yè)”是最常見(jiàn)的業(yè)務(wù)場(chǎng)景,采用2套技術(shù)方案或2個(gè)平臺分別處理,則會(huì )出現資源重復投入。
      使用華為云GaussDB(DWS)實(shí)現2個(gè)業(yè)務(wù)場(chǎng)景需求,數據無(wú)需反復轉換和流轉,提升了業(yè)務(wù)處理效率,節省運維成本。2小時(shí)可完成7萬(wàn)個(gè)核心業(yè)務(wù)的銀行日增量數據歸檔和數據加工,同時(shí)支持手機銀行終端7x24小時(shí)實(shí)時(shí)查詢(xún);當上千萬(wàn)個(gè)人用戶(hù)與幾十萬(wàn)企業(yè)用戶(hù)同時(shí)使用系統,并發(fā)進(jìn)行日間批量作業(yè)10萬(wàn)個(gè)的批量高峰期,實(shí)時(shí)查詢(xún)可在3秒內響應,真正做到跑批和實(shí)時(shí)作業(yè)互不影響。
      華為云GaussDB(DWS) 面向未來(lái),構筑新一代、全場(chǎng)景、云數據倉庫,一站式數據分析,釋放非凡數據價(jià)值,做企業(yè)數字化轉型的最佳伙伴。
    【免責聲明】本文僅代表作者本人觀(guān)點(diǎn),與CTI論壇無(wú)關(guān)。CTI論壇對文中陳述、觀(guān)點(diǎn)判斷保持中立,不對所包含內容的準確性、可靠性或完整性提供任何明示或暗示的保證。請讀者僅作參考,并請自行承擔全部責任。

    專(zhuān)題

    CTI論壇會(huì )員企業(yè)

    亚洲精品网站在线观看不卡无广告,国产a不卡片精品免费观看,欧美亚洲一区二区三区在线,国产一区二区三区日韩 开平市| 安图县| 锡林浩特市| 叙永县| 邢台市| 中山市| 大英县| 普格县| 富顺县| 雷山县| 会东县| 东山县| 陵川县| 巴中市| 辽宁省| 金坛市| 孝义市| 伊吾县| 邓州市| 河曲县| 什邡市| 旅游| 江西省| 临湘市| 土默特右旗| 图木舒克市| 孟津县| 千阳县| 蛟河市| 富川| 北川| 三江| 藁城市| 九江市| 绥芬河市| 安义县| 沧州市| 改则县| 望谟县| 通榆县| 新邵县| http://444 http://444 http://444 http://444 http://444 http://444