大數據時(shí)代到來(lái)
隨著(zhù)信息化技術(shù)的不斷發(fā)展,數字化現在已經(jīng)深深的滲透進(jìn)了我們生活中的點(diǎn)點(diǎn)滴滴。生活在Web 2.0 時(shí)代的我們,已經(jīng)不僅僅是一個(gè)信息的被動(dòng)接受者,同時(shí)還是一個(gè)信息的創(chuàng )造者。全球每秒鐘發(fā)送 290萬(wàn)封電子郵件;Twitter上每天發(fā)布 5 千萬(wàn)條消息;每天亞馬遜上將產(chǎn)生 630萬(wàn)筆訂單;每個(gè)月網(wǎng)民在Facebook 上要花費7 千億分鐘;一個(gè)8Mbps(兆比特每秒)的攝像頭一小時(shí)能產(chǎn)生3.6GB數據,一個(gè)城市若安裝幾十萬(wàn)個(gè)交通和安防攝像頭,每月產(chǎn)生的數據量將達幾十PB;一個(gè)病人的CT影像數據量達幾十GB,而全國每年門(mén)診人數以數十億計,并且他們的信息需要長(cháng)時(shí)間保存。總之,大數據存在于各行各業(yè),一個(gè)大數據時(shí)代正在到來(lái)。
由于數據產(chǎn)生成本急速下降,人類(lèi)產(chǎn)生的數據量正在呈指數級增長(cháng),而大量新數據源的出現則導致了非結構化、半結構化數據爆發(fā)式的增長(cháng),數據的結構正在日趨復雜。全球在2010 年正式進(jìn)入ZB 時(shí)代,根據IDC監測,全球數據量大約每?jì)赡攴环A計到2020 年,全球將總共擁有40ZB 的數據量,相較于2009 年,數據量將增長(cháng)近50倍。我們正處于大數據時(shí)代的邊緣。
CIO們遇到的挑戰
新生代客戶(hù)群的需求推動(dòng)企業(yè)業(yè)務(wù)面臨轉型挑戰,驅動(dòng)企業(yè)IT基礎設施變革適應大數據時(shí)代要求。影響企業(yè)命脈的,永遠都是客戶(hù)需求。新生代客戶(hù)手持Post-PC,除了工資以外使用各種投資方式積累財富,每天關(guān)注微博,在社交網(wǎng)站中維系人際關(guān)系,青睞網(wǎng)購,要求享受自由的、共享的、娛樂(lè )的、完美的信息生活。這個(gè)過(guò)程將產(chǎn)生大量數據,這些ZB級的數據管理和數據分析,將不是傳統的IT服務(wù)器、磁帶、縱向擴展設備能夠承載的。
世界經(jīng)濟形勢趨緊,高額的IT預算,究竟應該在哪里投入?據調查,企業(yè)目前73%的預算都用在基本業(yè)務(wù)運轉上,剩下的27%才對商業(yè)運營(yíng)有支撐作用。CIO的難處在于IT設施不斷的膨脹,僅僅是因為業(yè)務(wù)的數量漲了,但是沒(méi)有給企業(yè)經(jīng)營(yíng)帶來(lái)真正的增值。值得注意的,未來(lái)一到兩年,70%的客戶(hù)都將部署私有云,當大數據遇到云,會(huì )同時(shí)對私有云架構提出要求和挑戰。同時(shí)公有云會(huì )繼續擴張和蔓延,催生新型企業(yè)和新型業(yè)務(wù)。另外值得探討的是,為了應對“大數據”浪潮,很多企業(yè)在具備一定結構化處理能力的基礎上,將85%以上非結構化數據依托給了Hadoop,隨著(zhù)對Hadoop的深入探索,有投資人給出這樣的感受——使用Hadoop構建分析性查詢(xún),會(huì )變成類(lèi)似用錘子來(lái)建造房屋的活動(dòng),不是不可能,但是會(huì )帶來(lái)不必要的痛苦和可笑的低效成本。主要的痛點(diǎn)在于:
- Hadoop適合處理流水線(xiàn)任務(wù),但是對于特定的數據模式分析任務(wù)性能極低;
- Hadoop的前期投入低廉,但是后期開(kāi)發(fā)成本和維護成本非常昂貴;
- Hadoop導致企業(yè)信息孤島;
- Hadoop的數據容易產(chǎn)生單點(diǎn)故障。
華為大數據解決之道:應需而變,融易致遠
大數據時(shí)代,華為推出了“三位一體”的大數據解決方案:N9000存儲系統。N9000以“應需而變,融易致遠”的理念幫助客戶(hù)從容應對大數據的挑戰。
圖1:“三位一體”示意圖
N9000是在一個(gè)系統內融合數據存儲、數據分析和數據歸檔,三種功能集于一體。具有以下特點(diǎn):它能解決信息孤島,用統一的并行任務(wù)調度框架支撐結構化、非結構化海量數據清洗、數據分析;通過(guò)對海量數據的生命周期管理,支持歷史數據的歸檔、壓縮、下電策略;基于海量非結構化數據的內容感知(元數據管理),建立海量非結構化數據的搜索引擎,加速熱點(diǎn)數據的快速訪(fǎng)問(wèn);并且其彈性空間能夠支持初始低配置,隨著(zhù)客戶(hù)業(yè)務(wù)的發(fā)展,容量和性能可以隨需擴展,并實(shí)現性能線(xiàn)性增長(cháng),保護客戶(hù)初始投資,降低TCO。
華為以業(yè)界領(lǐng)先的性能、大規模橫向擴展能力和超大單一文件系統為用戶(hù)提供結構化與非結構化數據共享資源池、基于數據全生命周期管理的存儲與歸檔解決方案,充分切合廣電媒體、高性能計算、地質(zhì)能源、數據中心存儲、互聯(lián)網(wǎng)運營(yíng)等多種大數據業(yè)務(wù)應用的需求,幫助客戶(hù)輕松應對大數據挑戰。