一、大數據產(chǎn)業(yè)開(kāi)放格局初露鋒芒
大數據是繼云計算、移動(dòng)互聯(lián)網(wǎng)之后快速崛起的熱點(diǎn)領(lǐng)域，在經(jīng)歷了2013年大數據元年的飛速發(fā)展后，我國的大數據領(lǐng)域逐漸從技術(shù)積累和嘗試階段步入了產(chǎn)業(yè)化發(fā)展階段，具備了加快發(fā)展構建大數據產(chǎn)業(yè)鏈的基礎條件和能力儲備，產(chǎn)業(yè)鏈形態(tài)初現端倪。
2014年12月，《中國大數據技術(shù)與產(chǎn)業(yè)發(fā)展白皮書(shū)（2014）》發(fā)布，對2015年的大數據發(fā)展進(jìn)行了趨勢預測，數據的商品化和數據共享的聯(lián)盟化，以及提升政府治理能力分列其中。與此同時(shí)，《白皮書(shū)》用“融合、跨界、基礎、突破”等主要關(guān)鍵詞概括了我國大數據產(chǎn)業(yè)的未來(lái)走向，由此可見(jiàn)，大數據開(kāi)放格局在產(chǎn)業(yè)鏈中的重要地位已成為行業(yè)的普遍共識和一致訴求。2015年4月14日，全國首個(gè)大數據交易所——貴陽(yáng)大數據交易所掛牌運營(yíng)，首批大數據產(chǎn)品成功交易，這不僅標志著(zhù)大數據資產(chǎn)化和經(jīng)濟效益的直接轉換，同時(shí)對促進(jìn)大數據資產(chǎn)的流通和共享產(chǎn)生了重要意義和深遠影響。
二、大數據產(chǎn)業(yè)開(kāi)放格局面臨新挑戰
近年來(lái)，國內外互聯(lián)網(wǎng)公司和傳統企業(yè)都普遍意識到數據資產(chǎn)化和規模化帶來(lái)的潛在價(jià)值，并逐步加速數據價(jià)值顯像化的進(jìn)程。在此過(guò)程中，越來(lái)越多的數據使用者意識到，單純依賴(lài)企業(yè)或行業(yè)內部的數據源會(huì )極大地禁錮數據產(chǎn)業(yè)的創(chuàng )新思路，制約數據價(jià)值的提升。因此，構建數據的開(kāi)放共享格局就成為了整合數據資源，促進(jìn)大數據產(chǎn)業(yè)鏈組織形態(tài)進(jìn)一步細分和重構的共同愿望。
遵循社會(huì )活動(dòng)和生產(chǎn)加工的基本流程，數據的價(jià)值轉換通常包括“數據生成和采集—數據存儲和加工—數據分析和展示—數據應用”等若干步驟。盡管開(kāi)放格局中數據的流轉過(guò)程沒(méi)有發(fā)生實(shí)質(zhì)性的變化，但對各階段技術(shù)支撐能力和產(chǎn)業(yè)鏈供給模式都提出了新的要求。
一是多源數據水平參差不齊，可用性有待提高。開(kāi)放格局下的數據源要求在現有數據獲取途徑的基礎上，提供更多樣化的數據采集手段，并進(jìn)一步擴大數據采集的范圍、頻度和精度。目前各細分行業(yè)的采集手段較難統一，不同行業(yè)領(lǐng)域生成數據的過(guò)程往往依靠私有化和定制化的設備來(lái)實(shí)現，這也導致了各行業(yè)領(lǐng)域對同一數據內容的解讀存在廣泛的不一致現象，影響了公共數據的梳理和聚集。例如對同一數據來(lái)源，不同的行業(yè)領(lǐng)域可能采用不同的編碼方式、存儲類(lèi)型、索引結構等，盡管數據的天然屬性是唯一的，但表現在技術(shù)方式上多種多樣，人為地造成了數據的“多樣性”，致使數據整合難度加大，數據的直接可用性嚴重低下。
二是數據模型的衍生速度滯后于應用發(fā)展。開(kāi)放格局下的數據分析和挖掘工作重點(diǎn)由傳統的單一領(lǐng)域數據分析轉為多領(lǐng)域數據的綜合分析，相對應的數據模型也從平面式模型結構向數據模型立方體轉變。數據模型的規范性和權威性會(huì )直接影響數據分析結果和戰略決策的準確性，因此，缺乏高效可用的數據模型成為了開(kāi)放格局下數據分析挖掘服務(wù)能力的瓶頸所在。此外，目前數據模型的生成和創(chuàng )新主要依賴(lài)人工預設、人工智能和機器學(xué)習等傳統方式，針對多源數據關(guān)聯(lián)的模型仍然不成熟，高質(zhì)量數據模型的衍生速度尚不足以匹配應用的迭代速度和業(yè)務(wù)場(chǎng)景對數據分析結果的高要求。
三是混搭架構的存在要求重視頂層架構設計。一方面，數據來(lái)源的多樣化，及數據應用兼顧在線(xiàn)分析（OLAP）、實(shí)時(shí)交易（OLTP）等多場(chǎng)景的現實(shí)訴求，決定了企業(yè)必須借助混搭技術(shù)要素來(lái)設計復雜的數據架構。另一方面，傳統企業(yè)礙于現實(shí)生產(chǎn)系統效率和準確性的影響，IT系統“去IOE”的過(guò)程較為緩慢且不徹底，基于小型機構建的Oracle數據庫較難被完全替代，基礎設施類(lèi)型和數據組織方式的異構性同樣導致了混搭數據架構可能長(cháng)期存在。如何面向企業(yè)數據需求構建包括傳統關(guān)系型數據庫、內存數據庫和分布式文件系統等多元素的混搭架構，成為了開(kāi)放格局下數據保有者進(jìn)行頂層架構設計所面臨的新問(wèn)題。
四是數據私有化和開(kāi)放訴求的天然矛盾持續升級。數據私有化不僅體現在數據保有者對原始數據的不斷積累，同時(shí)也作用于ETL等數據的私有化加工過(guò)程中。出于對企業(yè)信息和用戶(hù)隱私的保護，數據保有者通常將加工處理后的原始數據作為數據內容開(kāi)放給上層應用使用，但不公開(kāi)相應的數據加工轉換規則。在缺乏行業(yè)標準的統一指導下，開(kāi)放哪些數據字段、字段的編碼映射規則，及數據加工的精度等都導致應用提供者在數據開(kāi)放格局中處于被動(dòng)地位。隨著(zhù)數據范圍的不斷擴大和多領(lǐng)域數據關(guān)聯(lián)結果的指數級增長(cháng)，數據私有化的壁壘效應會(huì )越發(fā)明顯。
三、順勢而為，全面構建大數據開(kāi)放格局
當前我國大數據產(chǎn)業(yè)的組織方式是遵照數據生命周期的各生產(chǎn)加工步驟展開(kāi)的，在新的數據開(kāi)放格局中，實(shí)現數據價(jià)值和提供更廣泛的數據服務(wù)仍將貫穿大部分數據生產(chǎn)加工流程。面對開(kāi)放環(huán)境給大數據產(chǎn)業(yè)帶來(lái)的全新挑戰，把握數據流轉過(guò)程的核心環(huán)節，推進(jìn)多層次數據能力開(kāi)放，有助于促成我國數據產(chǎn)業(yè)開(kāi)放格局快速形成。
首先是“治數據之本”，加強對數據質(zhì)量的控制。數據質(zhì)量控制是數據開(kāi)放共享格局的核心要素之一，理順開(kāi)放格局下多重數據來(lái)源是保障數據產(chǎn)業(yè)良性發(fā)展的管理抓手。建立各細分領(lǐng)域自行保有數據、集中維系數據血緣關(guān)系的統分模式是從源頭上打通數據生產(chǎn)隔閡，提升數據質(zhì)量的有效舉措。在跨領(lǐng)域數據關(guān)聯(lián)和加工過(guò)程中，通過(guò)規范的數據加工規則或提供加工流程的回溯檢驗能力，能夠最大限度地實(shí)現數據溯源。
其次是打造集成化的數據服務(wù)開(kāi)放平臺，降低數據服務(wù)使用門(mén)檻。通過(guò)架構和技術(shù)路線(xiàn)的定制化，政府或企業(yè)有能力實(shí)現自數據存儲之后的全部數據流轉環(huán)節。其中，數據的加工與預處理是減小數據規模、提高數據可用性和單位存儲成本價(jià)值的必要環(huán)節，開(kāi)放格局勢必促進(jìn)去隱私化數據清洗、匿名轉換等具有共性的加工處理手段以第三方服務(wù)或集成服務(wù)的方式對外供給；數據分析和可視化工具的可集成性與友好的人機交互設計也是降低數據服務(wù)使用門(mén)檻的主要保障。通過(guò)搭建開(kāi)放平臺的方式將上述服務(wù)能力統一整合，并作用于企業(yè)生產(chǎn)、行業(yè)分析和政府公共治理等各領(lǐng)域，有望成為我國大數據產(chǎn)業(yè)鏈在開(kāi)放共享格局下的新型發(fā)展模式。
最后是推進(jìn)多層次數據能力開(kāi)放，鼓勵全產(chǎn)業(yè)環(huán)節積極參與。數據服務(wù)能力貫穿數據流轉過(guò)程，其開(kāi)放性體現在多個(gè)層面，如數據的傳輸接口、數據的加工處理手段、數據的分析挖掘工具、數據的公共模型、數據的可視化操作界面等等都是能力開(kāi)放的重要形式。鑒于開(kāi)源技術(shù)逐漸成為大數據的主流架構，沿襲開(kāi)源開(kāi)放的發(fā)展思路，通過(guò)數據生產(chǎn)加工過(guò)程各環(huán)節的深度參與，不斷豐富和完善產(chǎn)業(yè)環(huán)境，是探索我國大數據產(chǎn)業(yè)互惠共贏(yíng)格局的有效途徑。
作者簡(jiǎn)介：
孫鑫，中國信息通信研究院政策與經(jīng)濟研究所，工學(xué)博士。
