IBM Power靜態(tài)大數據解決方案基于IBM天合應用服務(wù)器(PowerLinux)和GPFS-FPO或HDFS并行文件系統,再上面是Platform Symphony管理軟件、InfoSphere BigInsight分析工具或開(kāi)源Hadoop,形成軟硬一體化的解決方案。“Symphony是同類(lèi)中最佳的MapReduce執行方案,對計算密集型大數據應用優(yōu)勢明顯;BigInsight在Hadoop框架上增加了IBM獨特的技術(shù)優(yōu)勢,如安全管理和工作流等,并融入了IBM獨特的數據分析、機器學(xué)習和文本數據分析挖掘等技術(shù)。”
IBM系統與科技部大中華區Power Systems產(chǎn)品總監李紅女士介紹大數據方案
李紅女士特別提到了GPFS-FPO并行文件系統,它支持1000個(gè)節點(diǎn),支持遠程復制、支持大規模的水平擴展,支持Symphony和BigInsight,并且經(jīng)過(guò)多家數據庫廠(chǎng)商認證。對于需要先行排序的Sort操作,提供2~3倍Hadoop性能,對于文件檢索等查找工作,提供17倍開(kāi)源Hadoop的效率,是一個(gè)更加適合大規模應用的并行文件系統。
大數據應用并不僅僅是靜態(tài)的,還包括GPS、醫療檢測分析、天氣預報、金融交易等實(shí)時(shí)數據分析,為此,IBM提供了Power流數據解決方案,同樣基于天合應用服務(wù)器和GPFS-FPO并行文件系統。“實(shí)時(shí)大數據處理對內存要求高, Power對大內存的支持非常符合;實(shí)時(shí)性大數據應用中有大量數據在流動(dòng),對網(wǎng)絡(luò )帶寬要求高,這方面Power也有天然優(yōu)勢”,李紅女士表示。
數據倉庫是最傳統的數據應用類(lèi)型,是文本型關(guān)系型數據庫分析,比如經(jīng)營(yíng)分析系統。在數據倉庫方面IBM也有著(zhù)完善的解決方案。李紅女士介紹說(shuō),IBM Power系統采用集中式架構,具有強大的向上擴展能力,為OLTP和OLAP應用提供了性能保障;Power平臺的RAS特性更加適合數據庫所要求的苛刻可靠性;DB2 PureScale能夠實(shí)現對Power集中式架構的進(jìn)一步增強,性能及可靠性大幅提高。
在數據集市方面,李紅女士介紹了IBM獨有的DB2 BLU加速器技術(shù)。BLU加速器采用內存列式計算方式,能夠動(dòng)態(tài)移動(dòng)無(wú)用數據,這就降低了硬件平臺的內存要求;無(wú)需解壓就能使用壓縮數據,更加快速高效。“DB2 BLU+Power的組合,報告和分析能夠快8~25倍,在一些十余年測試中可能高達1000倍;客戶(hù)測試結果達到10倍存儲空間節省。”
李紅女士認為,IBM Power平臺大數據解決方案的優(yōu)勢還表現在技術(shù)的傳承和完整性方面:“Power傳承了以前的數據倉庫、數據挖掘、數據集市、業(yè)務(wù)數據庫的優(yōu)勢,和以前的系統鏈接可以做平滑無(wú)縫的鏈接,還可以拓展新的需求,如開(kāi)源的、非結構化數據、流數據分析等,都可以集成到新的方案里。IBM提供的不光是一個(gè)硬件,是一整套的解決方案。”
IBM大中華區副總裁及系統與科技部Power Systems總經(jīng)理侯淼先生認為,IBM Power平臺的另一大優(yōu)勢是長(cháng)期的投入和對客戶(hù)的承諾,今年,IBM聯(lián)合谷歌、NV等廠(chǎng)商成立了OpenPower聯(lián)盟,并宣布投入10億美金投入Linux和Power平臺的開(kāi)源創(chuàng )新,推出基于PowerLinux的天合應用服務(wù)器,并在北京成立Power Systems Linux中心,這些投入為IBM Power大數據解決方案提供了有力支撐。
IBM大數據方案電信行業(yè)顯身手
電信運營(yíng)商每天要處理大量的數據,有著(zhù)天然的大數據“金礦”,故而電信成為中國最早涉足大數據分析應用的行業(yè)之一,北京電信正是一個(gè)典型的例子。據介紹,北京電信有著(zhù)豐富的“數據資產(chǎn)”,通過(guò)判定用戶(hù)的使用習慣實(shí)現精準的定向營(yíng)銷(xiāo)、制定符合用戶(hù)習慣的資費政策,或者通過(guò)用戶(hù)興趣愛(ài)好提供有針對性的網(wǎng)絡(luò )便利性服務(wù),成為北京電信新的利潤增長(cháng)點(diǎn)。
北京電信選擇了基于IBM PowerLinux天合應用服務(wù)器的大數據解決方案建立了大數據分析平臺,實(shí)現了獨立的DPI流量即席查詢(xún)功能,并開(kāi)展了有針對性的內容與應用推薦營(yíng)銷(xiāo)。負責北京電信大數據平臺搭建工作的北京信合運通科技有限公司華北大區技術(shù)總監徐振介紹說(shuō),相比9臺x86服務(wù)器,4臺PowerLinux服務(wù)器在測試中每核加載速度是x86內核的11.18倍,每核處理能力是x86內核的9.63倍。Symphony提供了可視化界面,簡(jiǎn)化了人員的操作。
IBM大數據方案的表現獲得了徐振的認可,他表示,PowerLinux是性能與成本平衡的硬件平臺,GPFS-FPO并行文件系統要更加成熟可靠,Symphony更加適合計算密集型應用。
PowerLinux天合應用服務(wù)器是IBM Power家族中一條獨特的產(chǎn)品線(xiàn),將PowerLinux服務(wù)器、Linux操作系統、VAD(增值分銷(xiāo)商)合作伙伴的軟件打包在一起,形成以應用為導向的解決方案。據侯淼先生介紹,天合應用服務(wù)器獲得了中國市場(chǎng)的肯定,獲得了高速增長(cháng),今年第三季度的銷(xiāo)售額達到上半年的一倍。