魯四海：大數據技術(shù)及行業(yè)應用

　　2016年7月17號在北大舉行的第五屆中國大數據應用論壇上，中國新一代IT產(chǎn)業(yè)推進(jìn)聯(lián)盟技術(shù)分委會(huì )秘書(shū)長(cháng)魯四海做了題為《大數據技術(shù)及行業(yè)應用》的分享。他分享內容分為三個(gè)部分：第一，行業(yè)的趨勢、技術(shù)發(fā)展是什么樣的；第二大數據在傳統行業(yè)落地的困難，大數據要用起來(lái)最終還是落在傳統行業(yè)，因為IT技術(shù)的發(fā)展不能自?shī)首詷?lè )；第三，傳統行業(yè)如何落地大數據。

　　首先來(lái)看，現在的大數據產(chǎn)業(yè)正在發(fā)生著(zhù)哪些變化。第一，首席數據官開(kāi)始崛起。第二，可視化是推動(dòng)大數據普及的一個(gè)重要的手段。大數據的真實(shí)用戶(hù)，我們認為是業(yè)務(wù)不應該是IT人員。第三，大數據還有一個(gè)趨勢就是智能化嵌入，一個(gè)是終端的嵌入，一個(gè)是在服務(wù)端的嵌入。第四是機器學(xué)習迎來(lái)上揚的趨勢，它已經(jīng)是未來(lái)數據準備和預測分析的必要工作。第五，開(kāi)源應用會(huì )持續加速。第六，數據服務(wù)逐漸形成發(fā)展規模，這個(gè)主要有三個(gè)原因：一是數據這個(gè)事我們沒(méi)有必要做一些重復的工作；二是數據服務(wù)促進(jìn)共享。三是擁有數據的企業(yè)找到了一種創(chuàng )收的方式。第七，算法市場(chǎng)正在興起，數據要去解決問(wèn)題，中間需要一個(gè)算法模型來(lái)支撐。第八，互聯(lián)網(wǎng)、金融、健康保持熱度，智慧城市、企業(yè)數據化、產(chǎn)業(yè)互聯(lián)網(wǎng)將成為新的增長(cháng)點(diǎn)。

　　從前面的趨勢我們也可以看出，傳統行業(yè)將是大數據的主戰場(chǎng)。數據對傳統企業(yè)的巨大價(jià)值不用贅述，具體體現在四個(gè)方向：一是在決策模式上，在數據這個(gè)時(shí)代，以從流程為中心轉向數據為中心；二是運營(yíng)模式上，不再是以產(chǎn)品和服務(wù)為中心，轉向以用戶(hù)為中心；三是協(xié)作模式上面，原來(lái)是以供應鏈為基礎的，現在是生態(tài)鏈為中心。四是企業(yè)組織模式上，原來(lái)是以層級為中心，現在是以員工為中心。

　　但是傳統行業(yè)落地大數據也是有很多挑戰的。比如我們之前在做咨詢(xún)過(guò)程當中就遇到過(guò)這樣的情況。有的IT項目交付的時(shí)候被推倒重來(lái)，大數據項目也可能出現這種情況。一個(gè)是需求之前是不準確的，二是我們這個(gè)系統建設速度跟不上需求的變化。

　　都說(shuō)大數據的是驅動(dòng)創(chuàng )新的最佳方式，其實(shí)創(chuàng )新還是有蠻多坑的。比如說(shuō)，這兩年大家都在講小米的參與感。都去學(xué)人家微博微信的營(yíng)銷(xiāo)，然后以對人家的微博微信進(jìn)行數據分，然后套到自己的產(chǎn)品上，結果一點(diǎn)成效都沒(méi)有。但人家走量最多的紅米首發(fā)選擇了QQ空間，也得到了QQ空間的大力支持。依據數據創(chuàng )新最大的風(fēng)險在于，認識片面性和數據片性。

　　有的企業(yè)會(huì )通過(guò)投資收購方式去發(fā)展公司業(yè)務(wù)，投資者們達成明確而廣泛的共識，差不多很多時(shí)候都是錯的，因為大家在追逐熱點(diǎn)，熱點(diǎn)就有可能導致說(shuō)大家都過(guò)獨木橋。其實(shí)很多時(shí)候是在做重復性的研究，這個(gè)產(chǎn)業(yè)我們需要協(xié)作。

　　其實(shí)數據是很核心的一塊，我們做大數據首先解決數據的問(wèn)題。數據分成兩塊來(lái)看，分為內部和外部。內部的數據，一個(gè)是現在還有沒(méi)有數據。我們剛才聽(tīng)到了去哪兒網(wǎng)可以通過(guò)一些技術(shù)手段，收集他的數據。那么一般的組織是不是能夠達到呢？再就是數據質(zhì)量如何。數據的質(zhì)量就要分成兩塊，數據的有用性和數據的可用性。？

　　談完數據就討論技術(shù)，目前我們問(wèn)三個(gè)問(wèn)題，你的技術(shù)路線(xiàn)，走開(kāi)源的還是閉源的。第二是私有部署還是使用SaaS的工具去解決你的問(wèn)題。第三這點(diǎn)更細節，走Hadoop還是走M(jìn)PP這條線(xiàn)，這跟企業(yè)數據特點(diǎn)是有很大關(guān)系的，比如說(shuō)你的數據以結構化為主的，那MPP的模式就更適合你。

　　技術(shù)真的只是工具，數據其實(shí)是大數據分析過(guò)程當中的材料。只有材料、只有工具這能做出產(chǎn)品么？不行的，還有一個(gè)東西，它需要配方、需要生產(chǎn)的方法，這個(gè)就是算法模型。但是算法模型有幾個(gè)問(wèn)題一是對于法的人要求非常高；需要做大量的訓練；你開(kāi)發(fā)出來(lái)一個(gè)模型之后，應用效果也需要檢驗。

　　團隊，至少有三個(gè)方向，首先是業(yè)務(wù)專(zhuān)家，他解決的問(wèn)題是數據的可用性。然后就是IT專(zhuān)家，那樣解決怎么存數據、獲數據、管理數據。還有就是統計專(zhuān)家，他去開(kāi)發(fā)一些模型。目前是這幾種比較存在形式。還有一種是技術(shù)導向型的，再一個(gè)是以應用、業(yè)務(wù)為導向的。

　　如果完全自建團隊，團隊建設周期需要考慮；如果是合外部服務(wù)商一起合作，那么服務(wù)商的選擇就極其重要了，在大數據初級階段，大數據企業(yè)良莠不濟。

　　前面說(shuō)到大數據應用的主戰場(chǎng)是傳統行業(yè)，面對這么多的挑戰，如何讓大數據落地，核心是三個(gè)問(wèn)題：未來(lái)走到哪里，從哪里開(kāi)始，演進(jìn)步驟是啥。

　　我們先看未來(lái)走到哪里。大數據的發(fā)展最終是智慧化，所以未來(lái)應該是以服務(wù)的方式嵌入到具體的業(yè)務(wù)中去。所以未來(lái)企業(yè)都應該有一個(gè)大數據服務(wù)平臺，這個(gè)大數據服務(wù)平臺通過(guò)實(shí)時(shí)的計算處理，實(shí)時(shí)響應各業(yè)務(wù)系統所需要的數據服務(wù)。大數據服務(wù)平臺需要的數據、算法模型又從哪里來(lái)呢？答案就是大數據分析平臺，分析平臺包括數據準備、存儲管理、計算處理、分析挖掘、人機交互等內容。也就是從未來(lái)的企業(yè)大數據平臺包括大數據分析平臺和服務(wù)平臺。分析平臺著(zhù)重是離線(xiàn)數據的加工處理、算法模型的研發(fā)以及實(shí)現挖掘結果的交互；而服務(wù)平臺著(zhù)重在在線(xiàn)數據服務(wù)，直接為各業(yè)務(wù)環(huán)節提供在線(xiàn)的數據服務(wù)。如下圖所示：

　　企業(yè)級大數據應用邏輯架構參考圖

　　要實(shí)現這樣的大數據架構，難度、復雜度都非常高，所以需要分步實(shí)現。有觀(guān)點(diǎn)說(shuō)先把大數據分析平臺建起來(lái)，按照數據準備、存儲管理、計算處理、分析挖掘、人機交互一層一層地建，然后建設數據服務(wù)平臺。這種方式從技術(shù)的角度看是非常完美的，但實(shí)際操作難度大，而且容易出現平臺使用率偏低的問(wèn)題。原因主要有兩個(gè)：一個(gè)是信心，一個(gè)數據。先說(shuō)信心，這種方案前期大量的基礎建設，在人、財、物上大最的投入，卻看不到應用效果，同時(shí)在看不到效果的情況下要求業(yè)務(wù)部門(mén)進(jìn)行大量的配合工作，都會(huì )讓大家信心、動(dòng)力不足。數據，這各路方案比較重視基礎能力建設，但是現在是不是數據能夠接入進(jìn)來(lái)，取決于兩個(gè)面，一企業(yè)內部數據化是不是達到一定的基礎，二外部數據是不是已準備好了。我們認大數據落地應該是融入到業(yè)務(wù)場(chǎng)景里面去的，通過(guò)對一些企業(yè)大數據應用的調研，我們發(fā)現大數據應用可以分為這感知、探索、起步、發(fā)展、融合這五個(gè)發(fā)展階段。如下圖所示：

　　大數據應用5個(gè)演進(jìn)階段示意圖

　　感知階段，通過(guò)引入一些外部咨詢(xún)、數據服務(wù)讓整個(gè)組織感知大數據對業(yè)務(wù)發(fā)展的作用，通過(guò)培訓提升組織對大數據的認識。然后在內部實(shí)現一些簡(jiǎn)單的報表實(shí)際應用到業(yè)務(wù)中去。

　　探索階段，建設輕量級數據分析平臺，實(shí)現核心業(yè)務(wù)數據分析，從而推動(dòng)組織內部的數據化。開(kāi)始數據應用、團隊建設等方面的探索，可以引入外部團隊進(jìn)行數據戰略的規劃。

　　起步階段，拓寬數據分析應用范圍，在織織數據化發(fā)展到一起基礎的前提下，建設數據治理體系，著(zhù)手建設企業(yè)級大數據分析平臺。

　　發(fā)展階段，推動(dòng)組織內部全面數據化，建設面向業(yè)務(wù)用戶(hù)的大數據分析平臺。如果說(shuō)起步階段更多是IT部門(mén)的參與，為業(yè)務(wù)部門(mén)所需要的數據服務(wù)還更多需要IT部門(mén)的配合；發(fā)展階段業(yè)務(wù)部門(mén)將有更多的自主能力，IT部門(mén)更多進(jìn)行后臺支持，進(jìn)行數據質(zhì)量、平臺的維護。

　　融合階段，是大數據應用最終目標，通過(guò)數據服務(wù)平臺的建設，將數據服務(wù)融合到業(yè)務(wù)各個(gè)環(huán)節，實(shí)現用數據驅動(dòng)業(yè)務(wù)。

　　第一，制定數據戰略。這個(gè)戰略不僅僅是口號，應面巾是有相應的機制、制度出來(lái)。

　　第二，建立數據化計劃。首先得有數據，要把企業(yè)實(shí)現數據化之后才能更好的做數據的分析，而且在這個(gè)過(guò)程當中很重要的一點(diǎn)是要保證數據的質(zhì)量。

　　第三，建立數據平臺。重點(diǎn)考慮，這個(gè)數據放到這之后能夠找得到，還有就是被讀得懂；重客戶(hù)參與，讓業(yè)務(wù)人員參與進(jìn)來(lái)。

　　第四，量體裁衣建立數據團隊。

　　第五，定制好外部數據服務(wù)戰略。

　　第六，活數據，動(dòng)態(tài)模型。只有動(dòng)態(tài)更新的數據才是最有價(jià)值的數據。模型上也要下功夫，數據是材料，平臺是機床，而算法模型則是生產(chǎn)方法和工藝，是競爭的核心。

　　魯四海還是首席數據官聯(lián)盟發(fā)起人，在分享中也提到他們7月14號發(fā)布《中國大數據企業(yè)排行榜》，包括有產(chǎn)業(yè)地圖、行業(yè)分析、大數據企業(yè)評價(jià)指標體系和五十多個(gè)維度的排行榜，為各位在選擇大數據技術(shù)路線(xiàn)、產(chǎn)品、服務(wù)選擇以及服務(wù)商判斷方面提供一些參考。