前言:為了準確描述中國大數據市場(chǎng)和技術(shù)發(fā)展趨勢,解析大數據發(fā)展的各階段對IT技術(shù)的需求,2013年6月,中橋調研咨詢(xún)(以下簡(jiǎn)稱(chēng)中橋)對中國480家最終用戶(hù)的IT管理者和專(zhuān)業(yè)人員,就大數據市場(chǎng)和技術(shù)發(fā)展趨勢展開(kāi)了調查。中橋首席分析師王叢結合其在歐美數據中心領(lǐng)域十幾年的市場(chǎng)調研積累,對中國大數據市場(chǎng)趨勢的調查數據進(jìn)行解析,以詮釋中國大數據市場(chǎng)和技術(shù)趨勢。同時(shí),會(huì )通過(guò)在線(xiàn)講座(www.webinars-china.com )和中國讀者解讀中國大數據市場(chǎng)趨勢,以及大數據對IT技術(shù)、IT架構、IT管理以及IT格局的影響。中橋結合對中國大數據市場(chǎng)的調研數據和分析,將分成四個(gè)系列對“中國大數據價(jià)值和趨勢”進(jìn)行解讀。
在系列1里,中橋就大數據分析對未來(lái)24個(gè)月以及企業(yè)的大數據分析投入重點(diǎn)進(jìn)行分析。在系列2 里,中橋將就大數據分析對IT資源的需求,包括IT架構、計算節點(diǎn)以及存儲技術(shù)等進(jìn)行分析。
大數據分析對IT架構的需求
在大數據時(shí)代,隨著(zhù)數據存儲量的爆炸性增長(cháng)以及分層網(wǎng)絡(luò )架構的出現,IT復雜性達到了前所未有的高度,而大數據分析使得傳統IT架構更是不堪重負。那么從企業(yè)角度來(lái)看,他們的大數據環(huán)境需要怎樣的IT架構呢?中橋調查結果表明(圖1),企業(yè)級用戶(hù)(員工人數在1000人以上)主要選擇的是“透明、經(jīng)濟、智能、自動(dòng)化”的IT架構(29.3%),中小企業(yè)(員工人數在1000人以下)則主要選擇的是一體機方案(服務(wù)器、存儲、網(wǎng)絡(luò )、大數據分析軟件)(28.9%)。企業(yè)級用戶(hù)傾向于開(kāi)放、異構、跨平臺的IT架構,因為其用于大數據分析的IT架構發(fā)展較為成熟,如何繼續提高BI效率是企業(yè)級用戶(hù)選擇IT架構的重點(diǎn)。中小企業(yè)尚處于IT架構發(fā)展初期,因此一體機的方案成為中小企業(yè)的首選。受訪(fǎng)者的選擇結果也體現了中國企業(yè)未來(lái)對IT架構的需求趨勢,說(shuō)明數據整合和ETL是中國企業(yè)的迫切需求,也是目前面臨的最大問(wèn)題之一。
圖1. 大數據環(huán)境對IT架構的需求
大數據分析對計算技術(shù)的需求
再從大數據分析的計算方式來(lái)看(圖2),21.6%和21.3%的企業(yè)級用戶(hù)分別考慮x86虛擬化和小型機來(lái)部署大數據分析方案,中小企業(yè)(23.8%)則主要考慮刀片服務(wù)器的計算方式。刀片服務(wù)器的高密度特點(diǎn)有利于提高計算能力、保持高IT密度。企業(yè)級的應用多數運行在小型機的平臺上,這造成如果大數據分析是在現有基礎上實(shí)現,則小型機就成為了企業(yè)級的首選;如果要選擇在一個(gè)全新平臺實(shí)現大數據分析,那么X86虛擬化就成為了企業(yè)級用戶(hù)的第一選擇。結合我們之前所分析的,目前中國市場(chǎng)的大數據分析速度和頻率遠低于歐美市場(chǎng),這導致中國企業(yè)在數據分析,這個(gè)大數據通過(guò)IT創(chuàng )造價(jià)值,這一重要環(huán)節上比較薄弱。
圖2.大數據分析對計算技術(shù)的需求
大數據分析對存儲的需求
從大數據分析的第一個(gè)環(huán)節——數據收集和存儲來(lái)看,大數據時(shí)代應用數量、應用數據量和使用者數量的增長(cháng),對存儲IOPS以及OLTP和OLAP的要求越來(lái)越高,具體體現在存儲不能滿(mǎn)足業(yè)務(wù)關(guān)鍵型應用的需求。從中橋就企業(yè)支持當前數據分析和/或進(jìn)程活動(dòng)的存儲類(lèi)型分析來(lái)看(圖3),FC SAN是企業(yè)級用戶(hù)(42.1%)和中型企業(yè)(34.0%)的首選,遠高于其他存儲類(lèi)型的企業(yè)占比。這是因為FC SAN對OLTP和OLAP的性能穩定性?xún)?yōu)于其他存儲技術(shù)。這一調查結果也體現了,目前中國用戶(hù)大多處于大數據分析的第一階段,存儲和IT架構大多以集中式為主。隨著(zhù)Hadoop和MapReduce的不斷普及,用戶(hù)逐漸進(jìn)入近實(shí)時(shí)和實(shí)時(shí)分析階段,節點(diǎn)式存儲的占比會(huì )隨之逐漸增加。
圖3.大數據分析對存儲的需求
那么在大數據時(shí)代企業(yè)的存儲能夠滿(mǎn)足需求呢(圖4)?中橋調研結果顯示,31.6%的用戶(hù)計劃在未來(lái)12個(gè)月部署新存儲來(lái)滿(mǎn)足業(yè)務(wù)關(guān)鍵型應用的需求,33.2%計劃在未來(lái)12-24個(gè)月部署新存儲。這表明傳統存儲越來(lái)越無(wú)法滿(mǎn)足業(yè)務(wù)關(guān)鍵應用的性能需求。在未來(lái)24個(gè)月,64.8%的用戶(hù)將會(huì )部署新存儲來(lái)滿(mǎn)足大數據時(shí)代,業(yè)務(wù)關(guān)鍵型應用對存儲性能越來(lái)越高的需求。
圖4 大數據分析時(shí)代存儲的發(fā)展趨勢
通過(guò)上述一系列大數據對IT資源的需求分析,中橋分析師認為,傳統的IT架構、計算方式以及存儲正成為中國用戶(hù)通過(guò)大數據分析處理快速提高IT效率,挖掘數據價(jià)值的巨大阻礙。而統一、透明、智能的自動(dòng)化IT架構管理、高密度下卓越的計算能力,以及能夠滿(mǎn)足存儲IOPS與OLTP和OLAP的新型存儲則能夠為企業(yè)創(chuàng )造價(jià)值,實(shí)現通過(guò)IT突破創(chuàng )新來(lái)提升企業(yè)競爭力的目的。
在接下來(lái)的系列3中,中橋將就大數據時(shí)代下存儲所面臨的挑戰以及其發(fā)展趨勢進(jìn)行更為詳盡的闡述。