近年來(lái)移動(dòng)互聯(lián)網(wǎng)發(fā)展迅猛，數據迅速膨脹，全球步入大數據時(shí)代。大數據時(shí)代下，金融邊界不斷延伸，部分具有互聯(lián)網(wǎng)大數據功能的公司也逐漸向金融行業(yè)滲透。以阿里巴巴為代表的互聯(lián)網(wǎng)公司攜大數據技術(shù)打造的互聯(lián)網(wǎng)金融產(chǎn)品大舉進(jìn)入金融行業(yè)，來(lái)勢洶洶。傳統金融企業(yè)亟需大數據技術(shù)支撐去發(fā)現和驅動(dòng)新的業(yè)務(wù)，應對來(lái)自互聯(lián)網(wǎng)金融的挑戰。
基于金融行業(yè)安全、自主、高效的特點(diǎn)，金融行業(yè)的大數據解決方案有如下需求：
- 自主掌控：基于成熟數據庫，可以完全掌握源代碼，技術(shù)成熟經(jīng)過(guò)驗證，可自主維護，安全性高；
- 安全可靠：基于集群技術(shù)，不存在單點(diǎn)故障；
- 性能卓越：具備高效數據處理能力，海量并發(fā)連接；SQL解析優(yōu)化與存儲分離；
- 線(xiàn)性擴展：通過(guò)線(xiàn)性擴展提升性能，可根據業(yè)務(wù)量靈活調整系統；
- 成本可控：有效降低成本，控制IT支出，數據存儲基于廉價(jià)硬盤(pán)，使用廉價(jià)服務(wù)器，舍棄傳統昂貴的數據庫；
- 易于開(kāi)發(fā)：對外提供SQL和API豐富接口，數據持久化對應用透明，保持對通用數據庫最大兼容性，數據分布對應用透明，降低開(kāi)發(fā)難度。
基于以上分析，中興通訊基于Hadoop以及開(kāi)源數據庫技術(shù)，結合在大數據項目中的實(shí)踐經(jīng)驗，推出面向金融行業(yè)的GoldenData大數據解決方案（見(jiàn)圖1）。
中興通訊GoldenData大數據解決方案針對金融行業(yè)特點(diǎn)，在安全、開(kāi)放、調度、部署、資源隔離、可管理等方面做了開(kāi)創(chuàng )性工作。
- 兼顧效率的安全機制
在保證安全防護等級的前提下，為了不影響平臺的處理效率，中興通訊大數據平臺采用管理手段、硬件防護、軟件加固三位一體的整體安全解決方案。通過(guò)技術(shù)手段解決權限控制、數據加解密、事后審計、誤操作恢復的問(wèn)題，通過(guò)硬件防護、管理手段解決身份認證的問(wèn)題。
- 標準的開(kāi)放接口和開(kāi)發(fā)環(huán)境
提供標準的開(kāi)放接口和開(kāi)發(fā)環(huán)境，支持第三方快速完成應用開(kāi)發(fā)。對上層應用提供兼容SQL、WebService等接口，方便與現有IT系統的集成；對下層數據分布式海量數據集采組件，支持多種數據源接口：HDFS、Hbase、Hive、ZooKeeper、Sqoop、MR等，屏蔽Hadoop底層技術(shù)，提供標準API接口。
- 多種調度機制
獨立VIP調度隊列：為了確保特定的任務(wù)可以相對獨立運行，不受其他任務(wù)干擾，需要單獨開(kāi)設一個(gè)VIP隊列。
特色的任務(wù)翻牌機制：金融行業(yè)每個(gè)任務(wù)都有自己固定的運行時(shí)間和計劃，對于失敗的任務(wù)或過(guò)了時(shí)間卻不滿(mǎn)足運行條件的任務(wù)，需要一個(gè)固定的翻牌機制，確保任務(wù)在合適的時(shí)機得到正確的運行。
集群流控：在線(xiàn)集群為了保證客戶(hù)請求得到實(shí)時(shí)響應，在必要的條件下，對新請求直接拒絕從而確保已有請求獲得充分的資源，確保在線(xiàn)集群的及時(shí)響應。
- 獨創(chuàng )在線(xiàn)集群獨立部署
在線(xiàn)應用和基礎應用物理部署隔離，確保普通應用不干擾在線(xiàn)應用；通過(guò)Hfile文件實(shí)現兩個(gè)集群間的數據遷移，減輕在線(xiàn)應用集群負擔；統一管理多套集群，并可對多套集群運行指標進(jìn)行縱向對比。
- 資源隔離
數據隔離：平臺上同時(shí)運行多個(gè)應用程序，從應用數據輸入、程序運行、應用運行中間數據，到程序結果都通過(guò)權限做隔離，避免應用程序之間出現數據干擾。
避免過(guò)度空間占用：配置應用級別HDFS使用配額，避免某應用程序占用過(guò)多空間。
避免超長(cháng)占用計算資源：支持MapReduce程序運行時(shí)間預判，通過(guò)測試環(huán)境和歷史數據自動(dòng)評估運行時(shí)長(cháng)，如果實(shí)際運行超過(guò)預估時(shí)間50%則進(jìn)行告警。
- 統一管理
中興通訊大數據產(chǎn)品提供統一管理。中興通訊面向ICT的組件化大數據平臺，專(zhuān)注于保障大數據業(yè)務(wù)的最終用戶(hù)使用體驗、促進(jìn)大數據業(yè)務(wù)的快速成長(cháng)，至頂向下為大數據業(yè)務(wù)生態(tài)系統中涉及的各類(lèi)管理對象提供統一的平臺管理保障。
中興通訊GoldenData大數據平臺產(chǎn)品在金融銀行和全球運營(yíng)商等市場(chǎng)具有多個(gè)成熟商用案例，具備良好的技術(shù)積累和豐富的工程現網(wǎng)實(shí)施經(jīng)驗。中興通訊愿在大數據時(shí)代下幫助客戶(hù)華麗轉型，實(shí)現數據掘金、價(jià)值共享。
