Hadoop不是萬(wàn)能鑰匙
在大數據探索的進(jìn)程中，運營(yíng)商逐漸擺脫了對Hadoop技術(shù)的認知誤區。猶記得大數據興起之時(shí)，Hadoop風(fēng)生水起，它被認為是業(yè)界應對大數據挑戰的一劑良藥。
然而在實(shí)踐過(guò)程中，人們發(fā)現Hadoop在用作數據深度挖掘時(shí)存在效率低下等問(wèn)題，遠不及傳統的數據倉庫好用。但Hadoop成本低，用作數據存儲具有數據倉庫無(wú)法比擬的優(yōu)勢。
Teradata解決方案高級總監姜欣用一個(gè)形象的比喻來(lái)說(shuō)明Hadoop在大數據發(fā)揮的作用。“大數據就是一個(gè)淘金的過(guò)程。淘金過(guò)程中，首先需要把礦石挖掘出，就需要有運輸的工具和堆放的位置，那么Hadoop就等同于這個(gè)工具和位置，更多的是傳輸和存儲數據。之后，需要進(jìn)行礦石的提煉，從而淘出金子。這時(shí)候用Hadoop的話(huà)，花費的人力和物力會(huì )大大增加，時(shí)間成本也會(huì )增加。”
中國聯(lián)通的大數據應用代表“移動(dòng)通信用戶(hù)上網(wǎng)記錄集中查詢(xún)與分析支撐系統”便是采用Hadoop技術(shù)實(shí)現了實(shí)時(shí)查詢(xún)的功能。每天可處理700億條上網(wǎng)記錄，將用戶(hù)上網(wǎng)查詢(xún)記錄的系統響應時(shí)間縮短至一秒，大大提升用戶(hù)感知。
從目前情況看，任何單一技術(shù)都不足以高效低成本地支撐大數據整個(gè)架構。何鴻凌在“2013 Teradata大數據峰會(huì )”的演講中指出，大數據時(shí)代，運營(yíng)商需要分工嚴密的混搭結構，包括傳統數據倉庫、新型數據關(guān)系庫和Hadoop，以充分發(fā)揮各個(gè)平臺的優(yōu)勢。
而且，他強調，這些技術(shù)要有效的形成“混搭”，而不是“亂搭”，不能變成“豎井”，需要集成為統一的大數據架構。中國移動(dòng)目前便初步形成了以傳統數據倉庫為基礎的統一大數據架構。
其中，主數據倉庫用來(lái)存儲“熱”數據，進(jìn)行高效數據加工，支撐KPI、月報的及時(shí)呈現，支撐數據的高可靠性低時(shí)延訪(fǎng)問(wèn);新型的關(guān)系數據庫作為深度分析平臺，則用戶(hù)存儲“溫”數據，支撐各類(lèi)高級分析和數據挖掘;Hadoop用來(lái)存儲“冷”數據和非結構化原始數據，實(shí)現自定義、靈活的數據加工和挖掘工作，以及大規模簡(jiǎn)單數據查詢(xún)工作。
兩大盈利方向
大數據作為運營(yíng)商待挖掘的金礦，其價(jià)值來(lái)源于兩個(gè)方面，其一是改善用戶(hù)體驗，針對用戶(hù)實(shí)現精準營(yíng)銷(xiāo)，提升營(yíng)業(yè)利潤;其二是將數據分析結果作為一種服務(wù)提供給企業(yè)客戶(hù)，幫助他們實(shí)現更多的價(jià)值。
葉云告訴記者，DAAS(Data As A Service)帶來(lái)的價(jià)值更多，更值得運營(yíng)商重視。“電信運營(yíng)商作為大數據時(shí)代重要的數據聚合者，通過(guò)數據開(kāi)放，形成大數據價(jià)值生態(tài)圈，更加充分挖掘其潛在價(jià)值。”他說(shuō)。前面提及的西班牙電信的智慧足跡產(chǎn)品便代表了第二個(gè)方向。
值得一提的是，運營(yíng)商需要解決好用戶(hù)隱私的問(wèn)題。“近年來(lái)客戶(hù)隱私被濫用的現象時(shí)有發(fā)生。而大數據時(shí)代，這一威脅正在被放大。保護客戶(hù)隱私既是對法律法規的遵從，更是企業(yè)的社會(huì )責任。”何鴻凌表示。
據了解，Verizon在成立大數據部門(mén)的前一年就調整了公司的隱私政策，為合法利用用戶(hù)數據打下了基礎。2011年10月，在一項有關(guān)隱私政策變化的聲明中，Verizon稱(chēng)公司將利用其收集到的用戶(hù)訪(fǎng)問(wèn)的網(wǎng)站、使用的應用程序以及他們的地理位置等信息，來(lái)“撰寫(xiě)商業(yè)和營(yíng)銷(xiāo)報告”以及“制作與用戶(hù)關(guān)聯(lián)度更大的移動(dòng)廣告”。同時(shí)，Verizon還準備將這些分享給其他公司。
但是，Verizon表示，那些不愿意自己信息被分享的用戶(hù)可以選擇退出。如果用戶(hù)決定參加，它使用或分享的信息也不會(huì )被認出是某個(gè)用戶(hù)的信息。
IBM和牛津大學(xué)共同發(fā)表的研究報告《分析：大數據在現實(shí)世界中的應用》表明：25%的中國企業(yè)已經(jīng)開(kāi)始進(jìn)行大數據實(shí)踐，56%中國企業(yè)正在計劃部署大數據。預計在未來(lái)的兩到三年內，其價(jià)值便會(huì )規模釋放。
