隨著(zhù)大數據工具數量的增長(cháng)和計算能力的飛躍，數據科學(xué)家越來(lái)越多地發(fā)現，如果他們想從自己的模型中獲得最佳性能，那就必須考慮所使用的數據管道。
數據科學(xué)工具的功能通常圍繞著(zhù)預測建模，機器學(xué)習和數據可視化。但這些工具還應該包括后端數據管道技術(shù)，因為這有助于加快分析的速度。
更強的計算能力
數據科學(xué)家們通常喜歡把后端技術(shù)扔給工程師來(lái)處理。當你的主要關(guān)注點(diǎn)是提高模型的預測精度或發(fā)現一個(gè)數據集中的未知相關(guān)性時(shí)，文件系統和資源管理工具通常情況下并不十分友好。
但隨著(zhù)大數據工具數量的增長(cháng)和計算能力的飛躍，數據科學(xué)家越來(lái)越多地發(fā)現，如果他們想從自己的模型中獲得最佳性能，那就必須考慮所使用的數據管道。
“有了更強的計算能力，我們可以進(jìn)行多次回歸操作，這很讓人興奮，”Brendan Herger，銀行和金融服務(wù)公司Capital One的數據科學(xué)家表示。“這的確有助于快速發(fā)展，因為你有了更多的可用資源，讓一切變得容易。”
位于McLean, Va.的Capital One公司支持各種各樣的工具，但Herger表示，大部分的分析工作是通過(guò)Hadoop分布式文件系統和與其對應的YARN資源管理器完成的。在Hadoop平臺之上，他使用H2O.ai提供的機器學(xué)習軟件做了很多建模。其他數據科學(xué)家和數據分析師使用不同的前端數據科學(xué)工具，例如GraphLab，Apache Zeppelin和Tableau。據Herger所述，一個(gè)強大、靈活的后端系統可以支持大數據集的快速訪(fǎng)問(wèn)，無(wú)視前端工具的差異性。
不需要進(jìn)行數據采樣
Herger說(shuō)，這種后臺計算能力讓他能夠對完整的數據集進(jìn)行分析，不再需要進(jìn)行數據采樣。他認為是否取樣這個(gè)問(wèn)題“幾乎類(lèi)似于一個(gè)宗教問(wèn)題，”分析完整的數據集有幾個(gè)很大的好處。首先它保留了完整的數據，包括所有可能存在的信號。當數據被劃分成多個(gè)樣本時(shí)，信號可能會(huì )丟失或變得并不那么明顯。
“不進(jìn)行采樣，這樣對數據科學(xué)家來(lái)說(shuō)是非常有意義的”Herger 說(shuō)。“計算能力的提升，讓人們得以在整個(gè)數據集上運行分析，這樣的分析將越來(lái)越普遍”。
對于San Francisco Macys.com 公司的高級分析主任Daqing Zhao來(lái)說(shuō)，擁有強大的數據架構，為他的團隊帶來(lái)的主要好處就是速度。“我們希望進(jìn)行快速原型開(kāi)發(fā)，”本月在Boston舉行的TDWI Accelerate會(huì )議上，Daqing Zhao說(shuō)道。
趙的團隊負責優(yōu)化Macys.com網(wǎng)站，該網(wǎng)站是Macy ‘ s Inc的零售門(mén)戶(hù)。優(yōu)化工作范圍很廣，例如設計變更，進(jìn)行A / B測試，構建產(chǎn)品推薦引擎，為每個(gè)客戶(hù)提供個(gè)性化的推薦等。他的團隊使用的主要大數據工具是以Hadoop和Spark系統為基礎構建的，它支持一系列分析工具，既包括SAS Institute和IBM提供的商業(yè)化分析工具，也包括一些開(kāi)源工具，像H2O，R和Mahout等。
數據沙盒有助于數據分析
Zhao 要求Macys.com的數據工程團隊在公司數據倉庫中為他的團隊構建數據沙盒。這允許他團隊中的數據科學(xué)家以一種實(shí)際相關(guān)性來(lái)轉換或連接數據，而不需要在數據記錄級別進(jìn)行任何數據變更。
對于所有這些工具，Zhao表示，H2O在進(jìn)行預測建模尤其有用。他第一次意識這一點(diǎn)是在最近的一次演示某個(gè)軟件的會(huì )議上。他說(shuō)，在11秒內，工具在一個(gè)有著(zhù)一億行數據的數據集上執行一次邏輯回歸。重要的是，這些工具能夠與公司的后端數據基礎設施完美集成，這使得它更具有吸引力。
Zhao說(shuō)，他現在沉迷于那些數據科學(xué)家可用的開(kāi)源數據工具。除了其對于大數據強大處理能力，這些工具的背后還有著(zhù)廣受歡迎的大型社區支持，這使得它更容易找到相關(guān)問(wèn)題的答案。集成開(kāi)源工具和數據基礎設施通常會(huì )存在一定的問(wèn)題，因為在出現問(wèn)題時(shí)，并沒(méi)有專(zhuān)業(yè)的技術(shù)支持來(lái)幫你解決。但此類(lèi)工具的日益普及逐漸削弱了這個(gè)問(wèn)題產(chǎn)生的影響。
“因為開(kāi)源軟件的逐漸流行，你可以使用谷歌或在論壇里找到答案，”Zhao說(shuō)。“以前你遇到開(kāi)源軟件的問(wèn)題，可能會(huì )感到孤立無(wú)援，現在不會(huì )這樣了。”
從數據管理中解放出來(lái)
當數據科學(xué)家在后端系統上運行一些任務(wù)時(shí)，他將會(huì )花費更少的時(shí)間在數據管理上。
Colin Borys遇到的情況大致如此，Colin是Riot Games Inc.公司的數據科學(xué)家，該公司就是大名鼎鼎的對戰游戲LOL的開(kāi)發(fā)商。在6月舊金山舉行2016 Spark Summit峰會(huì )的一次演講中，Borys表示，他的團隊會(huì )監控網(wǎng)絡(luò )流量，以試圖發(fā)現是否有玩家正在遭遇網(wǎng)絡(luò )擁堵，是否可以通過(guò)網(wǎng)絡(luò )疏導來(lái)提高網(wǎng)絡(luò )連通性。數據科學(xué)團隊還開(kāi)發(fā)了一個(gè)推薦引擎，建議玩家選擇不同的服務(wù)器來(lái)均衡網(wǎng)絡(luò )負載。
在之前，大部分工作是基于Hive上運行的臨時(shí)查詢(xún)，但Borysr認為這種方法并不高效，不具有較好的可伸縮性。Riot Games隨后引入了Spark技術(shù)，部分原因是它想讓數據科學(xué)家在Hadoop數據上執行SQL查詢(xún)，對于SQL，他們已經(jīng)非常熟悉。這家位于Los Angeles的公司開(kāi)始使用Databricks提供的云Spark平臺，這樣不需要有專(zhuān)門(mén)的人來(lái)花時(shí)間管理集群。
在引進(jìn)的Spark之前，Borys說(shuō)，數據科學(xué)家會(huì )花費大量的時(shí)間在準備數據上。現在他們可以利用這些時(shí)間來(lái)完成實(shí)際的數據分析。
“我們想要解放分析師，”他說(shuō)道。“使用Spark，進(jìn)行數據分析容易的多，它也讓分析變得更為有效。”
