亞馬遜11月發(fā)布的數據流服務(wù) Kinesis 終于向公眾開(kāi)放了。
眼下隨著(zhù)越來(lái)越多的公司從傳統批處理轉移到更加智能的云計算,數據流服務(wù)也開(kāi)始變得越來(lái)越流行。和傳統服務(wù)相比,數據流服務(wù)更快速,更便捷。它可以實(shí)時(shí)處理數據,而不是向過(guò)去一樣花幾分鐘甚至幾小時(shí)來(lái)等待批量處理程序收集和處理全部?jì)热荨?/p>
過(guò)去 Storm 是處理此數據流任務(wù)的上佳工具。2011 年收購 Backtype 時(shí),Twitter “順便”將 Storm 創(chuàng )始人南森·馬茨(Nathan Marz)收入麾下。Storm 可以讓 Twitter 時(shí)間線(xiàn)保持實(shí)時(shí)更新,另外還能讓用戶(hù)追蹤突發(fā)事件。但它在完成長(cháng)期趨勢分析以及訓練搜索引擎模塊時(shí),卻需要依賴(lài)其它工具。
與 Storm 一樣,Kinesis 也可以在把數據傳遞到另一數據庫之前,完成對這些內容的實(shí)時(shí)處理。但不同的是,Kinesis 可以通過(guò)軟件套件處理超過(guò) 24 小時(shí)的數據,每小時(shí)自動(dòng)分析的數據量高達幾百 TB。此外,Kinesis 還加入了針對 Storm 的數據移植接口,AWS 數據科學(xué)部門(mén)總經(jīng)理馬特·伍德(Matt Wood)解釋說(shuō),此步設置是為了兼顧部分用戶(hù)在使用 Kinesis 收集數據時(shí),希望能繼續使用 Storm 來(lái)處理數據的要求。
SDK 是 Kinesis 的主要內容,畢竟歸根結底,Kinesis 是用來(lái)“打開(kāi)創(chuàng )建更多敏捷性應用的機會(huì )”。首批接入 Kinesis 數據流服務(wù)的用戶(hù)包括移動(dòng)游戲開(kāi)發(fā)商 Supercell 和營(yíng)銷(xiāo)服務(wù)平臺 Bizo。前者主要通過(guò) Kinesis 生成具有實(shí)時(shí)數據流的主控板,后者主要用 Kinesis 接管此前需要大量人工服務(wù)的數據管道管理工作。
迄今為止,AWS 是唯一提供類(lèi)似服務(wù)的提供商。其它云計算服務(wù)商想要阻止用戶(hù)繼續選擇 AWS 的話(huà),顯然需要拿出更加豐富的內容,而不僅僅是 Hadoop 服務(wù)。