銀行客戶(hù)信息整合詳解

2003/04/14

　　圖1 DataStage邏輯架構

　　常用設計簡(jiǎn)介

　　DataStage 提供給開(kāi)發(fā)者非常直觀(guān)的圖形界面，開(kāi)發(fā)者可以遵循一種工作流思考方式來(lái)選擇數據源、目標數據與過(guò)程轉換用的組件（Stages），并將之置于一個(gè)最初看起來(lái)像一個(gè)空格一樣的“草稿表”模板上。Stage是包含了一定功能的組件，類(lèi)型很多：作為數據源和目標的可以是各種數據庫的連接，可以是文本文件或hash文件等；作為轉換功能的可以是排序、聚類(lèi)統計、數學(xué)運算等具有特殊功能的組件。設計者用一種叫做“鏈接”的箭頭來(lái)連接這些具有代表性的圖標，而這些箭頭則闡明了運行開(kāi)始后數據與元數據的流向。在創(chuàng )建DataStage任務(wù)時(shí)，用戶(hù)可以在設計草圖上添加注釋、說(shuō)明、標簽或是其他可以添加給作業(yè)的描述性文字。DataStage使用圖形方式建立表的查詢(xún)、連接關(guān)系、排序和匯總運算。圖2、圖3是幾種常用的設計模式：

　　圖2 源數據和目標數據都直接操作數據庫

　　數據抽取的實(shí)現

　　客戶(hù)信息數據庫中的各表以客戶(hù)編碼為關(guān)鍵字進(jìn)行關(guān)聯(lián)，客戶(hù)編碼是由客戶(hù)的證件號碼經(jīng)過(guò)專(zhuān)門(mén)的算法計算產(chǎn)生的唯一客戶(hù)標識。根據各個(gè)系統中客戶(hù)數據與新系統客戶(hù)信息的對照關(guān)系我們設計數據抽取轉換的程序，如圖4所示是一個(gè)DataStage的Job。

　　由于源數據量很大，從數據庫中直接提取數據效率不高，我們采用先將數據卸載到文本文件中，再從文本中抽取數據進(jìn)行處理。通過(guò)DataStage的Sequential File Stage可以連接一個(gè)指定路徑的文本文件，在db1_tab1設定文件的存放位置、文件中分隔符、文件中每個(gè)字段的類(lèi)型、長(cháng)度和名稱(chēng)，即可以取得客戶(hù)的證件號碼、姓名、電話(huà)、職務(wù)職稱(chēng)等信息。這些信息需要進(jìn)行一系列處理：計算客戶(hù)編碼，根據新編碼規則進(jìn)行代碼轉換，去掉非法字符等，在一個(gè)Transformer Stage Transform1中對各數據進(jìn)行處理。

圖3 源數據和目標數據直接操作文本文件

　　其中CreateKhbm函數是利用DataStage提供的函數開(kāi)發(fā)環(huán)境編寫(xiě)的，目的是產(chǎn)生客戶(hù)唯一標識客戶(hù)編碼。由于tab1中的身份證號字段存儲的證件號碼數據不規范，所以在CleanSfzh函數中，我們對不規范的證件號碼進(jìn)行清洗整理，產(chǎn)生規范的證件號碼。證件類(lèi)型（zjlx）由于在不同系統中編碼定義不同，因此需要進(jìn)行轉換。通訊地址和郵編兩個(gè)字段只對空值進(jìn)行特殊處理。在這樣一個(gè)Transformer Stage中只需用很少的代碼即可以完成需要的數據處理。

　　由于不同的源數據中可能包含同一個(gè)客戶(hù)的信息，因此采用Hashed File Stage HF_khjbxx存放輸出結果，相同客戶(hù)的信息根據客戶(hù)編碼覆蓋前面產(chǎn)生的信息，避免了重復的客戶(hù)信息。從不同源數據庫取得客戶(hù)信息，根據數據的真實(shí)性依次進(jìn)行處理后，生成的客戶(hù)信息全部保存在一個(gè)Hash文件中，最后從Hash文件中取出結果數據裝載到目標數據庫中。

圖4 一個(gè)DataStage的Job

　　由于客戶(hù)數據量很大，為了在不同的數據庫中將大量的數據進(jìn)行整合，數據處理效率十分重要。在實(shí)現中不直接操作數據庫而使用文本文件的優(yōu)勢在于DataStage直接抽取文本文件數據的效率高于從數據庫中抽取，DataStage訪(fǎng)問(wèn)數據庫時(shí)需要通過(guò)ODBC連接相應的數據庫Driver，連接上數據庫后，從數據庫中抽取部分數據存放于DataStage Server內存中，轉換裝載完后，再從數據庫中抽取一部分數據，所以不適用于大數據量的抽取轉換，而且不易于實(shí)現多進(jìn)程同時(shí)執行。

　　對于大數據量的抽取轉換（如1000萬(wàn)條記錄），我們可以手工卸載成幾個(gè)文本文件，放到DataStage Server上，DataStage在抽取轉換時(shí)直接將文本文件內容裝載到內存中，省去了連接數據庫資源的消耗，并且可以同時(shí)執行幾個(gè)Job（Job的設計可以重用），從而提高抽取轉換效率。

　　在客戶(hù)基本信息整合完成后，從不同系統將客戶(hù)的賬戶(hù)數據抽取出來(lái)，客戶(hù)的每個(gè)賬戶(hù)、賬戶(hù)類(lèi)型、幣種、狀態(tài)、余額、積數、開(kāi)戶(hù)、銷(xiāo)戶(hù)情況全部整合在一起，建立起一套較為完整的客戶(hù)總賬。在此基礎上，對客戶(hù)的資產(chǎn)負債總量、分布情況可以匯總統計，每日對資產(chǎn)負債變化進(jìn)行跟蹤分析，可以全面地了解客戶(hù)在銀行的資產(chǎn)分布和變化狀況。同時(shí)，從各交易系統中獲得賬戶(hù)的交易情況，可以轉換為客戶(hù)的交易情況，分別統計不同時(shí)間段、不同交易地點(diǎn)、不同交易種類(lèi)的客戶(hù)交易，從而了解客戶(hù)的交易習慣和喜好。客戶(hù)信息整合后，不同角度、不同層面的客戶(hù)分析可以全面展開(kāi)。

　　結束語(yǔ)

　　目前，各個(gè)銀行都已具有強大的面向賬戶(hù)的交易系統。真正要做到面向客戶(hù)服務(wù)首先要建立完善的客戶(hù)信息系統。放棄目前各系統中分散零亂的客戶(hù)信息而從頭積累客戶(hù)信息是巨大的浪費，從分散的賬務(wù)系統中抽取整合客戶(hù)信息通過(guò)實(shí)踐是完全可行的。只要設計一個(gè)科學(xué)的方法，采用有效的工具，完全可以在很短的時(shí)間內將有效的數據提煉出來(lái)，建立起擁有幾百萬(wàn)客戶(hù)的信息庫。客戶(hù)信息庫不僅為客戶(hù)服務(wù)提供了基礎，更為客戶(hù)分析創(chuàng )造了必要條件。

賽迪網(wǎng) 中國信息化(industry.ccidnet.com)