我們已經(jīng)跨入了大數據時(shí)代，僅從數據量的增長(cháng)這一指標來(lái)看，我們面臨的大數據處理壓力已經(jīng)非常巨大。IDC的預測數據顯示，2020年，全球數據總量將達到40ZB，數據每年的增長(cháng)速度為55%。數據與人們的工作、生活正變得密切相關(guān)，尤其是在像金融、電信等關(guān)系國計民生的行業(yè)，數據正成為其業(yè)務(wù)發(fā)展的核心。
中國建設銀行（以下簡(jiǎn)稱(chēng)建行）就是一例，由于需要歸檔的票據影像數據急劇增加，而原有的光盤(pán)歸檔系統不僅歸檔速度慢、查詢(xún)周期長(cháng)，而且不易擴展，滿(mǎn)足不了數據日益增長(cháng)的需求，建行急需一套高效且具有彈性的新型歸檔解決方案。經(jīng)過(guò)多方調研和評估，建行最終選擇了華為OceanStor 9000大數據存儲系統，該系統采用全分布式架構，不僅具備良好的彈性，符合銀行未來(lái)業(yè)務(wù)發(fā)展的趨勢，而且單一文件系統具有高達40PB的擴展能力，可以滿(mǎn)足建行數據存檔15年的容量需求。OceanStor9000存儲系統以磁盤(pán)替代光盤(pán)塔的歸檔方式，提升了檢索和查詢(xún)速度，大大減少了人工成本。
PB級數據處理帶來(lái)挑戰建行是我國5大國有商業(yè)銀行之一，在全球和國內設有眾多分支機構。截至2013年6月底，建行總市值為1767億美元，居全球上市銀行的第五位，它管理的資產(chǎn)規模超過(guò)12萬(wàn)億元。在《福布斯》2014全球企業(yè)2000強榜單中，建行名列第二。
建行現有的會(huì )計檔案管理系統（以下簡(jiǎn)稱(chēng)ADMS），通過(guò)WebService方式對外圍系統提供內容歸檔、獲取、修改和刪除等服務(wù)，總行與分行的ADMS系統之間形成交互訪(fǎng)問(wèn)。截至2013年6月，建行分行的ADMS系統管理的在線(xiàn)數據量已經(jīng)達到1850TB，近線(xiàn)數據量也突破了1700TB大關(guān)。面對如此龐大的數據存儲量，建行以前用于數據歸檔的光盤(pán)塔已經(jīng)捉襟見(jiàn)肘。
據建行的有關(guān)人員介紹，目前建行每天處理的交易量達到2000萬(wàn)筆，分布在總行和全國38個(gè)分行，當天對交易記錄進(jìn)行掃描，然后通過(guò)ADMS系統進(jìn)行處理。所有的數據內容存儲分為在線(xiàn)和近線(xiàn)兩部分，按照既有的分層存儲策略，在線(xiàn)數據通常要保留3年，期滿(mǎn)后數據則要歸檔到光盤(pán)塔中進(jìn)行長(cháng)期保存，以便后續的檢索和查詢(xún)。
隨著(zhù)業(yè)務(wù)量的增加，存儲的數據總量已經(jīng)達到PB級，原來(lái)針對TB級數據量設計的歸檔方式已經(jīng)無(wú)法滿(mǎn)足業(yè)務(wù)發(fā)展的需要，瓶頸主要表現在以下3方面：
數據寫(xiě)入壓力越來(lái)越大。建行總行與38個(gè)分行每天需要歸檔的交易量達2000萬(wàn)筆，這些交易涉及的票據影像數據需要快速導入到歸檔系統中，然而原有的光盤(pán)歸檔方式速度非常慢，數據導入時(shí)間長(cháng)，嚴重影響了工作效率。
歸檔后的查詢(xún)壓力增加。3年需要歸檔的交易紀錄已達到100億條，僅靠現有光盤(pán)歸檔方式已不能滿(mǎn)足快速檢索和查詢(xún)的要求，影響了服務(wù)質(zhì)量。按照建行的發(fā)展目標，未來(lái)總的交易記錄可能會(huì )上升到400億條，現有的歸檔方式顯然無(wú)法擔此重任。
存儲壓力倍增。歸檔的數據需要至少保存15年。建行預測，未來(lái)全國各分行的數據總量將超過(guò)60PB，但是現有的歸檔系統并不具備大規模擴展的能力，很難適應業(yè)務(wù)快速發(fā)展的要求。
快速增長(cháng)的海量數據使得建行ADMS的原有近線(xiàn)存儲（光盤(pán)塔設備）歸檔速度慢、查詢(xún)響應時(shí)間長(cháng)、無(wú)法大規模擴容等缺陷暴露無(wú)疑。為了化解大數據增長(cháng)與傳統歸檔系統低效率之間的矛盾，同時(shí)滿(mǎn)足建行快速發(fā)展的業(yè)務(wù)需求，2013年11月，建行宣布將進(jìn)一步強化數據大集中，在總部建立4個(gè)歸檔大區，方便總行直接檢索和查詢(xún)；在總行及各一級分行采用華為OceanStor 9000大數據存儲解決方案，逐步替換原有的光盤(pán)塔。OceanStor 9000采用全分布式架構，其性能、容量和擴展能力均在業(yè)界同類(lèi)產(chǎn)品中處于領(lǐng)先地位，不僅可以解決建行在存儲擴展性方面的后顧之憂(yōu)，而且可以將數據的查詢(xún)速度由原來(lái)的30分鐘響應提升至即時(shí)響應。
OceanStor 9000：為大數據而生大數據的出現對于數據的存儲、管理、分析等提出了前所未有的挑戰。企業(yè)需要一個(gè)融合、高效、易擴展的大數據存儲平臺來(lái)解決當前難題。OceanStor 9000是華為針對大數據推出的一款集存儲、歸檔和分析能力于一體的存儲系統，它采用全對稱(chēng)分布式架構，具備業(yè)界領(lǐng)先的卓越性能、大規模的橫向擴展能力和超大單一文件系統，可廣泛應用于廣電媒資、衛星測繪、基因測序、能源勘探、科研教育等多種大數據業(yè)務(wù)場(chǎng)景。
華為OceanStor 9000在以下幾方面擁有突出的能力。首先，華為OceanStor9000是一款具有強大性能的分布式存儲系統，這讓它在大數據處理時(shí)游刃有余。OceanStor 9000基于Share Nothing全對稱(chēng)分布式架構，文件數據和元數據均勻分布在各個(gè)節點(diǎn)上，支持多個(gè)節點(diǎn)并發(fā)訪(fǎng)問(wèn)，最大可支持55TB的全局緩存，為用戶(hù)帶來(lái)極速的性能體驗，消除了系統的性能瓶頸。此外，其單一文件系統的存儲容量高達40PB；其次，華為OceanStor 9000支持線(xiàn)性的容量與性能擴展。華為OceanStor9000的橫向擴展架構可以支持從3個(gè)節點(diǎn)到288個(gè)節點(diǎn)的平滑擴展，容量和性能均隨節點(diǎn)數量的增加呈線(xiàn)性增長(cháng)；最后，華為OceanStor 9000大數據存儲采用單一文件系統，同時(shí)整體方案中設備集中統一管理，使用和管理都很簡(jiǎn)單；軟件平臺可自動(dòng)化部署和配置，實(shí)現一鍵式快速擴容，單節點(diǎn)擴容60秒之內即可完成。正是因為華為OceanStor 9000在大數據處理方面的優(yōu)異表現，才最終贏(yíng)得了建行的青睞。
為應對大數據的挑戰，存儲系統應以更快、更大、更靈活擴展的存儲基礎架構為出發(fā)點(diǎn)，增強融合的數據挖掘和數據歸檔能力。華為OceanStor 9000正是致力于在這些方面進(jìn)行持續創(chuàng )新，以滿(mǎn)足日益增加的大容量和高性能的存儲需求，幫助客戶(hù)打造效率更高的大數據存儲平臺。OceanStor 9000大數據存儲系統已經(jīng)在國內外的金融票據影像歸檔、廣電媒資、衛星測繪、智慧城市視頻監控存儲分析等領(lǐng)域得到了廣泛應用和驗證。
客戶(hù)的聲音
“華為OceanStor 9000采用先進(jìn)的Scale-out全分布式架構，在可靠性、可擴展性、性能和可維護性上處于業(yè)界領(lǐng)先水平， 多個(gè)節點(diǎn)并發(fā)訪(fǎng)問(wèn)，可提供高并發(fā)、高帶寬、低時(shí)延的存儲性能，滿(mǎn)足建行的應用需求。”
——中國建設建行工程師
