金融行業(yè)在業(yè)務(wù)運營(yíng)中會(huì )產(chǎn)生大量紙制憑證，傳統的業(yè)務(wù)處理方式存在著(zhù)憑證保存成本高，手工錄入、翻閱，效率低，無(wú)法進(jìn)行歷史交易統計和關(guān)聯(lián)交易分析等種種不便。隨著(zhù)金融電子化、流程銀行及集中作業(yè)中心等理念的深入推廣，許多金融機構建設了票據影像集中管理平臺。這是一個(gè)集檔案錄入、圖像處理、智能識別、數據核對、統計分析、海量存儲、精確查詢(xún)于一體的計算機輔助管理系統。此平臺為其它業(yè)務(wù)系統提供影像管理方面的業(yè)務(wù)支持，極大地提高了工作效率，降低銀行自身的生產(chǎn)運營(yíng)成本和管理成本，同時(shí)提高客戶(hù)和員工的滿(mǎn)意度。

　　海量票據影像數據的管理難題

　　IDC研究表明，金融行業(yè)未來(lái)80%的數據主要呈現為影像、照片、音頻、視頻等非結構化數據。 從2010年到2020年，非結構化數據將以44倍的發(fā)展速度迅猛增長(cháng)。

　　票據影像數據為銀行業(yè)務(wù)流程中產(chǎn)生的掃描文件、照片等業(yè)務(wù)憑證，隨著(zhù)業(yè)務(wù)的發(fā)展，總體數據量增長(cháng)迅速。票據影像數據與傳統的結構化數據有很大的不同，其具有以下特點(diǎn)：

　　·文件小

　　·數量大

　　·空間占用大

　　·調閱頻率與生成時(shí)間有關(guān)

　　總體上講，銀行票據影像系統的數據特點(diǎn)是一個(gè)典型的“海量小文件”場(chǎng)景。

　　從監管上講，在銀行業(yè)務(wù)流程過(guò)程中產(chǎn)生的數據是交易的重要憑據，應當長(cháng)期保存；系統要對生產(chǎn)系統中的票據影像文件進(jìn)行備份，保證生產(chǎn)系統數據損壞后能夠快速恢復；對業(yè)務(wù)發(fā)生達到一定時(shí)間，訪(fǎng)問(wèn)概率低的票據影像數據應當實(shí)現歸檔，以降低對生產(chǎn)存儲的占用；當業(yè)務(wù)需要時(shí)，譬如在司法場(chǎng)景下、客戶(hù)投訴、業(yè)務(wù)調取場(chǎng)景下，能夠迅速地查詢(xún)到已經(jīng)歸檔的票據影像文件。 然而，票據影像系統數據的文件小、數目多、總量大的特點(diǎn)，使得數據存儲與數據保護存在諸多技術(shù)難點(diǎn)：

　　·備份時(shí)間長(cháng)： 針對文件系統進(jìn)行數據保護時(shí)，首先需要對全部文件進(jìn)行掃描，當文件數量過(guò)多時(shí)，掃描時(shí)間會(huì )非常長(cháng)。其次，需要逐一定位文件，拷貝文件，當文件海量時(shí)，備份時(shí)間也會(huì )非常長(cháng)。這使得客戶(hù)在指定的備份窗口內，無(wú)法實(shí)現數據備份

　　·離線(xiàn)保存后文件調閱麻煩： 如果將長(cháng)期不用的文件離線(xiàn)保存至光盤(pán)或磁帶，需要人工操作。調閱時(shí)，必須遵守一系列業(yè)務(wù)流程進(jìn)行。如由業(yè)務(wù)發(fā)起調閱請求，科技人員受理，找到相應的介質(zhì)，并將離線(xiàn)介質(zhì)回遷至生產(chǎn)存儲進(jìn)行查詢(xún)，查詢(xún)后還需要進(jìn)行刪除

　　·數量逐年增加： 隨著(zhù)銀行業(yè)務(wù)的拓展、網(wǎng)點(diǎn)數目不斷的增加、上線(xiàn)時(shí)間的變長(cháng)，數據量成顯著(zhù)上升的趨勢。這導致生產(chǎn)系統容量需求不斷增加，需要不斷的擴容

　　以某城城市商業(yè)銀行為例，其票據影像系統上線(xiàn)3年，文件總數目達8000萬(wàn)，數據總量已達10TB，且以每年2~3TB的速度增長(cháng)。大量的票據文件很快消耗了主存儲系統的空間，面臨著(zhù)對昂貴主存擴容的壓力。更為嚴峻的是，業(yè)界目前主流的數據保護方案，都沒(méi)有充分考慮到票據影像“海量小文件”的特點(diǎn)，只能管理約百萬(wàn)級的文件，備份速度在每小時(shí)幾十GB，10TB的數據備份需要數周時(shí)間。但實(shí)際環(huán)境中，是不可能有這么長(cháng)的備份窗口。 因此，所有票據影像文件根本無(wú)法完成備份。

　　近幾年，我國有上百家銀行逐漸建設了自己的票據影像系統，由于票據影像數據管理的技術(shù)難點(diǎn)，幾乎都沒(méi)有實(shí)現數據保護，系統長(cháng)期處于高風(fēng)險運行狀態(tài)，一旦生產(chǎn)系統出現故障，后果不堪設想。

　　針對票據影像的業(yè)務(wù)特點(diǎn)，我們認為在票據影像數據管理上需要滿(mǎn)足以下需求：

　　·票據影像數據是交易中的重要憑證，必須滿(mǎn)足監管部門(mén)對系統可靠性及數據保護的監管要求，實(shí)現千萬(wàn)級數據文件在給定的時(shí)間窗口內實(shí)現備份是基本要求

　　·對于已經(jīng)歸檔的票據影像文件需要調閱的情況下，在一堆歸檔磁帶或光盤(pán)中人工搜索文件工作量是無(wú)法想象的，必須提供“自動(dòng)化”的、快速的歸檔文件調閱手段

　　·長(cháng)期不用的票據影像文件需要從高端生產(chǎn)存儲遷移到成本更低的近線(xiàn)存儲，減少高端存儲的擴容費用； 數據的備份與恢復、歸檔與調閱、數據校驗等數據管理操作需要實(shí)現“自動(dòng)化”， 降低運行與維護的難度，減少人力投入

　　華為票據影像數據管理解決之道

　　設計理念

　　票據影像文件數據管理所存在的問(wèn)題不是一個(gè)簡(jiǎn)簡(jiǎn)單單的提高備份性能的問(wèn)題。備份性能再高，也不能趕上票據影像數據增長(cháng)的速度，不能滿(mǎn)足票據影像管理的需求，管理“海量小文件”要建立相應的管理理念，通過(guò)系列的技術(shù)組合來(lái)實(shí)現。

　　華為票據影像數據管理解決方案的“一體化設計”實(shí)現“備得出、查得快”

　　華為金融票據影像數據管理解決方案“一體化”的實(shí)現了“海量小文件”場(chǎng)景的存儲、備份、歸檔、分析、重刪、搜索等管理需求，實(shí)現自動(dòng)化的全生命周期管理。

　　
解決方案架構

　　該解決方案有四大主要功能：

　　·分級存儲功能：根據票據影像文件生成時(shí)間與訪(fǎng)問(wèn)頻度，合理利用在線(xiàn)、近線(xiàn)、離線(xiàn)存儲介質(zhì)，減少生產(chǎn)存儲容量，降低TCO

　　·自動(dòng)歸檔功能：根據歸檔策略，將訪(fǎng)問(wèn)頻度低的文件通過(guò)“打包歸檔”方式實(shí)現數據保護，滿(mǎn)足監管要求

　　·自動(dòng)備份功能：實(shí)現“海量小文件”的高速備份，在系統故障和個(gè)別文件損毀的情況下，能有效管理數億的文件，并能夠實(shí)現數據的快速恢復

　　·面向應用“透明訪(fǎng)問(wèn)”：當應用系統訪(fǎng)問(wèn)已經(jīng)歸檔的文件時(shí)，方案可以自動(dòng)將歸檔數據從近線(xiàn)存儲中回調至生產(chǎn)存儲，保證應用在等待若干秒后能夠訪(fǎng)問(wèn)到所需數據，無(wú)需人工干預，操作人員無(wú)感知

　　華為的解決方案將為客戶(hù)帶來(lái)如下價(jià)值：

　　·備得出：對海量小文件的備份效率提高到每小時(shí)數百GB，備份時(shí)間縮短至傳統方式的十分之一左右

　　·查得快：“透明訪(fǎng)問(wèn)”技術(shù)，通過(guò)“存根”的設計，保留歸檔后的文件位置信息，在需要調取歸檔文件場(chǎng)景下，應用觸發(fā)“存根”回調歸檔的文件，時(shí)間僅需幾十秒，而且應用無(wú)感知。

　　·成本低：首先，采用“分級存儲”思想，用廉價(jià)的近線(xiàn)存儲替代昂貴的生產(chǎn)存儲，降低存儲采購成本；其次，方案“一體化”設計，一站式解決海量文件存儲、備份、歸檔、管理問(wèn)題，建設成本低；最后，全自動(dòng)數據管理方案，減少大量運維成本與人員投入

　　要實(shí)現上述價(jià)值，主要得益于“透明訪(fǎng)問(wèn)”、“二級索引”兩項關(guān)鍵技術(shù)：

　　“透明訪(fǎng)問(wèn)”

　　方案的核心價(jià)值是“透明訪(fǎng)問(wèn)”。在歸檔操作時(shí)，一方面將超過(guò)一定時(shí)間的數據文件遷移到“近線(xiàn)存儲”，另一方面在生產(chǎn)存儲留下相應的“存根”。該存根指向文件遷出后的實(shí)際位置。在應用系統訪(fǎng)問(wèn)已經(jīng)歸檔的文件時(shí)，就訪(fǎng)問(wèn)到了“存根”，此時(shí)會(huì )觸發(fā)一個(gè)將歸檔文件回調至生產(chǎn)存儲的操作，使得應用系統能夠讀到該文件。這就是“透明訪(fǎng)問(wèn)”功能。

　　“二級索引”

　　采用備份/歸檔技術(shù)進(jìn)行數據保護，被保護的文件是“打包”保存的，需要在備份系統中建立索引才能進(jìn)行恢復與查詢(xún)操作。“二級索引”的設計，是將記錄文件的一級索引與介質(zhì)一起存放，由介質(zhì)服務(wù)器管理，備份服務(wù)器只管理“二級索引”。這種分布式的索引技術(shù)，可以支持數十億文件的高性能管理。

　　通過(guò)華為票據影像數據管理解決方案，實(shí)現客戶(hù)數據“備得出、查得快”，保障金融系統安全、高效運行。