本周一，IBM宣布將對開(kāi)源實(shí)時(shí)大數據分析項目Apache Spark進(jìn)行大規模資助，藍色巨人宣稱(chēng)，其資助的力度之大相當于每年數億美元的投入。
Hadoop技術(shù)出自Google、Yahoo這些互聯(lián)網(wǎng)公司，主要是為了對規模龐大的各類(lèi)數據進(jìn)行處理和分析。不過(guò)近年來(lái)隨著(zhù)大數據應用的流行，越來(lái)越多的公司也希望自己具備類(lèi)似的能力，這使得Hadoop逐步進(jìn)入了主流。Hadoop以及相關(guān)的分發(fā)企業(yè)如Cloudera， Hortonworks等也成為了大數據領(lǐng)域的投資熱點(diǎn)。
Spark同樣也提供大數據處理與分析能力。如果說(shuō)Hadoop勝在規模的話(huà)，那么Spark就勝在速度。這項由2年前UC Berkeley AMP實(shí)驗室開(kāi)發(fā)的技術(shù)將中間輸出結果保存在內存而不是分布式文件系統中，從而可以提供實(shí)時(shí)的數據分析能力。與Hadoop獲得的資助相比，對Spark的支持還很不夠。
正是在此背景下IBM宣布了對Spark的大規模資助。藍色巨人將投入超過(guò)3500名開(kāi)發(fā)者到Spark相關(guān)項目，為項目提供機器學(xué)習技術(shù)，并將Spark嵌入到IBM的數據分析和商用軟件中，同時(shí)還會(huì )把Spark作為服務(wù)在它的Bluemix開(kāi)發(fā)平臺上提供出來(lái)。為了鼓勵基于Spark的創(chuàng )新，IBM還將在舊金山設立一個(gè)Spark技術(shù)中心。IBM還將把自己的一個(gè)研究項目SystemML開(kāi)源。這個(gè)項目是利用機器學(xué)習技術(shù)去識別數據模式，而它正是在Spark基礎上開(kāi)發(fā)的。
IBM還計劃與UC Berkeley的AMPLab、DataCamp、Galvanize以及Big Data University等學(xué)術(shù)及教育組織合作提供Spark教育課程，目標是培養100萬(wàn)名數據工程師和數據科學(xué)家。
IBM的大規模資助令人矚目。回顧過(guò)去，正是由于IBM的出手才讓若干關(guān)鍵技術(shù)得到了普及，比如說(shuō)1980年代IBM對PC的投入，2000年代對Linux的投入均加速了相關(guān)技術(shù)成為主流的進(jìn)程。
當然，對于IBM來(lái)說(shuō)，對Spark的大規模投入實(shí)際上也在幫助它自己。此舉不僅能強化自己在大數據領(lǐng)域的地位，同時(shí)也能吸引更多開(kāi)發(fā)者加盟它的生態(tài)體系，幫助IBM更快更好地解決其業(yè)務(wù)問(wèn)題。
而放眼更大的環(huán)境，開(kāi)源化已成不可逆轉的趨勢。技術(shù)巨頭比以往任何時(shí)候都更加熱情地涌入到這一潮流當中。比方說(shuō)Google開(kāi)源了自己最大的秘密之一，Facebook更是幾乎將自己變成了一所開(kāi)源實(shí)驗室。因為這些巨頭明白，如果不擁抱開(kāi)源，也許就會(huì )被開(kāi)源消滅。
