首頁(yè)>>廠(chǎng)商>>CTI系統平臺廠(chǎng)商>>易谷網(wǎng)絡(luò )

呼叫中心中可定制報表系統的設計與實(shí)現(一)

上海易谷網(wǎng)絡(luò )科技有限公司 趙延超 2010/01/11

  本章闡述了本文寫(xiě)作的課題背景,介紹了呼叫中心中的報表系統以及其在國內外研究的現狀,最后給出了本文的研究目的、研究意義和章節安排。

1.1 課題背景

1.1.1 呼叫中心

  隨著(zhù)計算機和信息技術(shù)的飛速發(fā)展,呼叫中心在現在各企業(yè)中的應用也越來(lái)越多。它在銀行、保險、計算機、電力、交通、航空、電信、汽車(chē)和教育等行業(yè)都已經(jīng)得到了廣泛的應用。它為人們提供了快捷而方便的服務(wù)手段,并受到廣泛的歡迎。

  呼叫中心是一種基于計算機電話(huà)集成(Computer Telephony Integration ,CTI)技術(shù)、充分利用通信網(wǎng)和計算機網(wǎng)的多項功能集成,并與企業(yè)連為一體的一個(gè)完整的綜合信息服務(wù)系統,它利用現有的各種先進(jìn)的通信手段,有效地為客戶(hù)提供高質(zhì)量、高效率、全方位的服務(wù)[1],其基本架構圖如圖1.1所示。



圖1.1 呼叫中心基本架構圖


  呼叫中心通過(guò)電話(huà)自助語(yǔ)音方式來(lái)代替傳統的柜臺業(yè)務(wù),能夠每天24小時(shí)不間斷地隨時(shí)提供服務(wù),并且有比柜臺服務(wù)更好的友好服務(wù)界面。從而,用戶(hù)不必跑到營(yíng)業(yè)處,只要接入呼叫中心系統就能迅速獲得信息和進(jìn)行一些信息的存儲、轉發(fā)、查詢(xún)、交換等操作,還可以通過(guò)呼叫中心完成部分交易[2] [3]。另外,大多數呼叫中心還提供傳真服務(wù),它可以將交易記錄等信息傳真給客戶(hù)。

1.1.2 報表系統

  呼叫中心大規模使用以后,為了更好地衡量呼叫中心是否能夠發(fā)揮最佳的績(jì)效,以隨時(shí)調整呼叫中心的運作策略,系統需要有統一的報表管理來(lái)對業(yè)務(wù)水平進(jìn)行評價(jià)。

  報表系統把呼叫中心中的數據進(jìn)行組裝,分析和包裝管理,再以圖表,文字和表格形式通過(guò)網(wǎng)絡(luò )定期傳播并更新,達其所用。它以一個(gè)規范的系統架構形式定期提供信息給決策者來(lái)支持他們的工作,來(lái)提高業(yè)務(wù)人員的服務(wù)態(tài)度和工作效率[4]。

與呼叫中心結合后,報表按照對呼叫中心中不同對象的數據統計,大致有以下幾類(lèi)。

  1. 坐席報表
  2. 坐席組報表
  3. 隊列報表
  4. 隊列組報表
  5. 路由點(diǎn)報表
  6. 技能組報表
  7. 分機報表
  8. IVR(Interactive Voice Response)報表

  對這些報表的數據統計可以衡量呼叫中心中坐席服務(wù)態(tài)度、坐席服務(wù)是否專(zhuān)業(yè)、坐席業(yè)務(wù)熟悉程度、呼叫中心資源分配情況、業(yè)務(wù)流程的合理性、各部件工作效率等。下面以坐席為例,簡(jiǎn)要描述一下對呼叫中心中報表數據統計的詳細內容以及作用。

  1. 統計坐席接起電話(huà)以前電話(huà)鈴響的時(shí)間,衡量坐席服務(wù)態(tài)度。
  2. 統計坐席通話(huà)前客戶(hù)在話(huà)路分配隊列中等待時(shí)間,衡量呼叫中心資源分配是否合理。
  3. 統計客戶(hù)電話(huà)被掛起的次數和總的時(shí)間,衡量坐席服務(wù)是否專(zhuān)業(yè)。
  4. 統計客戶(hù)和坐席通話(huà)時(shí)間,衡量坐席業(yè)務(wù)熟悉程度、業(yè)務(wù)流程的合理性。
  5. 統計坐席處于待機狀態(tài)時(shí)間,衡量坐席數量是否過(guò)多。
  6. 統計其它坐席參與三方通話(huà)的次數:衡量坐席業(yè)務(wù)熟悉程度以及業(yè)務(wù)流程的合理性。
  7. 統計坐席處理一個(gè)來(lái)電/外拔的時(shí)間,衡量坐席工作效率。
  8. 統計坐席輸入資料的時(shí)間,衡量坐席對業(yè)務(wù)熟悉程度。

1.2 國內外研究現狀

  由于報表系統在呼叫中心系統中的基礎性和必要性地位,報表統計功能的應用非常廣泛。同時(shí)報表系統軟件也引起了國內外不少人的關(guān)注和重視。近年來(lái),隨著(zhù)軟件開(kāi)發(fā)技術(shù)的日新月異,報表技術(shù)不斷成熟和完善,報表工具種類(lèi)繁多并且功能各具特色,目前已經(jīng)出現了一些頗具特色的報表工具軟件。下面從國外和國內兩個(gè)方面扼要介紹一下報表工具的研究現狀和進(jìn)展。

1.2.1 國外報表工具現狀

  國外主流的報表工具包括水晶報表(Crystal Report)、Style Report、FastReport、QuickReport、Excel等,它們比較側重于大型數據的處理,樣式非常規整,不過(guò)在呈現方面還不能直接滿(mǎn)足國內報表大量的個(gè)性化定制需求[5] [6]。下面以Excel和QuickReport為例介紹一下國外的報表工具特點(diǎn)。

1.Excel

  Excel是歷史悠久的電子表程序之一,功能強大,許多后來(lái)出現的Windows報表工具均受其影響,甚至在功能和界面上加以模仿[7] [8]。

Excel具有如下特點(diǎn):

  Excel報表中可以包括文字、數字、圖形等多種內容,提供文字的字體大小、顏色、數字的顯示格式等格式控制。   提供多種數據處理函數并支持條件格式化,支持數據的分組、會(huì )計等等。   Excel提供了VisualBasicforApplications(VBA)和VisualBasic編程環(huán)境,同時(shí)支持OLE,用戶(hù)可以使用VBA編寫(xiě)自定義函數,實(shí)現對已有數據處理函數庫的擴充,滿(mǎn)足實(shí)際需要[7] [8]。

2.QuickReport

  QuickReport是一組專(zhuān)用于Delphi和C++Builde中的制作報表的控件,它可以很容易的把報表和代碼連接起來(lái),產(chǎn)生圖文報表;可以用QuickReport頁(yè)上的控件給一個(gè)報表添加表體、報表頁(yè)眉和頁(yè)腳、報表細部、概要、組合表的頭尾等;可以為各種各樣的數據源設計報表,如數據庫表(TTabie)、 查詢(xún)表(TQuery) 、列表(List)、數組(Array)等;可以使用屏幕預覽來(lái)檢查設計結果;可以自動(dòng)進(jìn)行求和、計算平均值等統計功能;可以對某組數據重置計算結果等[9] [10]。

QuickReport具有以下一些特征:   QuickReport有一套控件,它置于報表的明細帶中,用于設計文本標簽、圖形、頁(yè)標題、腳注等。它還有用于填充報表的數據感知控件以及系統數據控件和表達式計算控件等,適用于數據和數據庫的操作[9] [10]。

1.2.2 國內報表工具現狀

  國內的報表工具有如意報表工具(Rooyee Report)[11],DmTable報表工具等。一般說(shuō)來(lái),國內的報表工具側重于數據抽取和前端展現,比較適合制作中國式的報表或者中小企業(yè)的報表系統,可以說(shuō)這是它的優(yōu)勢。但是在處理大量的數據方面和國外的產(chǎn)品相比還是有一定的差距[12] [13]。

  在此,以DmTable智能報表工具為例詳細介紹國內開(kāi)發(fā)的大型報表工具。

  DmTable智能報表工具向用戶(hù)提供了兩個(gè)使用部件,一個(gè)是報表工具集成環(huán)境,包括報表工具的所有功能,即報表框架的管理和報表數據的管理,報表工具集成環(huán)境給用戶(hù)提供了交互式使用方式;另一個(gè)部件是供用戶(hù)使用的編程接口,目前提供了報表數據管理的編程接口,因為這部分功能必須嵌在應用程序中[14]。

DmTable智能報表工具的主要特點(diǎn)[15] [16]:   此外,汕頭大學(xué)的幾位專(zhuān)家等針對中文報表生成問(wèn)題設計了多數據源中文報表智能生成系統,以多數據源的中文報表為研究對象,運用面向對象的方法,對其組成結構進(jìn)行分析,提出了中文報表的生成四要素,并根據其數據來(lái)源的種類(lèi)、限制條件、統計條件、各種綜合條件以及各種相關(guān)的處理情況,利用CELL組件生成了一個(gè)包括初始化管理系統、權限管理系統、文件管理系統、編輯管理系統、格式管理系統、數據管理系統和幫助系統等的報表生成系統。

  大連理工大學(xué)的兩位教授則提出并實(shí)現了一種通過(guò)數據表(Table)實(shí)現完全活動(dòng)報表的設計方案,該方案利用在數據庫中添加與報表設計有關(guān)的表來(lái)存儲各種報表信息(生成或打印信息),與報表設計有關(guān)的表有:報表類(lèi)別定義表、報表內容定義表和報表列信息定義表,然后通過(guò)修改數據表而不更改源程序實(shí)現對報表的設計以提高應用程序的適用范圍。

1.3 研究目的和意義

  隨著(zhù)計算機硬件和軟件技術(shù)的發(fā)展,報表己經(jīng)成為現代呼叫中心的一種重要組成部分,且報表設計的需求總體水平跨上了一個(gè)新的臺階。

  在現代呼叫中心報表的設計時(shí),其格式多種多樣,數據來(lái)源和種類(lèi)千差萬(wàn)別。而一般呼叫中心僅提供系統開(kāi)發(fā)時(shí)按需求固定的幾種報表格式,無(wú)法滿(mǎn)足不斷增加和不斷變化的報表需求,以至于后期的維護工作繁重。呼叫中心對業(yè)務(wù)評價(jià)的需求高度關(guān)注,要求系統必須提供靈活多樣的報表功能。

  本文把報表系統的通用和靈活性作為目標,以報表統計模板中的各基本單元為基礎統計項,根據不同的用戶(hù)需求整合出任何話(huà)務(wù)需求的解決方案,來(lái)減輕應用報表系統的開(kāi)發(fā)和后期維護工作,具有一定的靈活性和規范性。

1.4 章節安排

  本文的主要目的是設計并開(kāi)發(fā)一種既能方便系統開(kāi)發(fā)人員使用,又能方便報表系統用戶(hù)設計和維護報表,而且符合中國式報表開(kāi)發(fā)習慣的通用報表系統。為此本文主要做了以下一些工作:

  1. 通過(guò)對多種報表工具進(jìn)行分析和比較,基于數據倉庫數據ETL技術(shù)提出了一種設計開(kāi)發(fā)新報表系統的實(shí)現方案,并設計了呼叫中心中的可定制報表系統體系結構。

  2. 在分析數據ETL基礎上,設計了用于報表生成的報表統計模板,提出了一種基于基本統計項的模板構建方法,并在模板劃分的基礎上,完成了報表數據存儲模型的設計。

  3. 設計并實(shí)現了一個(gè)可視化報表設計工具,來(lái)生成呼叫中心的報表模板。

  4. 基于設計的報表系統實(shí)現了呼叫中心系統的數據處理和轉換,并將報表系統過(guò)濾的數據引入數據倉庫,最終利用報表工具展現出來(lái)。

圍繞以上內容,本文共六章,其組織結構安排如下:

  第一章簡(jiǎn)要介紹了課題的提出背景、相關(guān)技術(shù)研究現狀以及本文研究的目的和意義。該章重點(diǎn)分析了報表系統的特性和已有的主要報表系統和報表工具的特點(diǎn)以及存在的不足,在此基礎上,提出了本文的研究?jì)热莺椭饕鉀Q的問(wèn)題。

  第二章主要介紹了本文研究的報表系統所用的技術(shù):數據倉庫以及ETL關(guān)鍵技術(shù),為以后論文對報表系統的分析打下了基礎。

  第三章對呼叫中心中的報表特性進(jìn)行了分析,提出了當今對報表系統功能的需求,給出了可定制報表系統的總體設計方案以及內部各功能模塊的設計,構建了一個(gè)完整的報表系統。

  第四章對第三章給出的總體設計方案進(jìn)行了深入、詳細的設計和實(shí)現,并給出了相關(guān)技術(shù)實(shí)現類(lèi)圖。

  第五章主要研究該報表系統在呼叫中心中的應用,給出了相應的用例,驗證了該報表系統的可行性和正確性。

  第六章總結了本文研究的內容以及不足之處,為以后研究做了相關(guān)展望,并指出了需要改進(jìn)和進(jìn)一步研究的地方。

第二章 數據倉庫以及ETL關(guān)鍵技術(shù)研究

  數據的處理是一個(gè)報表系統的設計首先要考慮的問(wèn)題,這就需要一種有效的管理技術(shù),將分布在網(wǎng)絡(luò )中不同站點(diǎn)的呼叫中心數據集成到一起,為決策者提供各種類(lèi)型的、有效的數據分析[17] [18]。而該報表系統的設計目的是:依照合理的方式整合源數據系統,將源數據統一存儲在以企業(yè)邏輯模型構建的數據庫中,前端展現工具依照用戶(hù)需求,對該數據庫中的數據進(jìn)行匯總、展示,并按照用戶(hù)喜好的方式,將結果展現在用戶(hù)面前。要完成這一任務(wù)就得使這些不同部門(mén)之間做到數據共享,實(shí)現全局數據一致性,并提供全局數據查詢(xún)和決策分析。因此數據倉庫以及ETL(Extraction、Transformation and Loading,數據抽取,轉換和加載)技術(shù)解決方案成為了本文對數據處理的選擇。

2.1 數據倉庫技術(shù)研究

  數據倉庫是伴隨著(zhù)數據庫技術(shù)的發(fā)展及用戶(hù)對數據處理、加工等要求的不斷變化而產(chǎn)生的。

  在傳統的數據庫技術(shù)中,數據庫技術(shù)的應用主要表現在聯(lián)機事務(wù)處理(On-Line Transaction Processing ,OLTP)方面。聯(lián)機事務(wù)處理注重數據處理的響應時(shí)間、數據的安全性和完整性,通過(guò)對數據庫的聯(lián)機操作(增、刪、改、查詢(xún))來(lái)實(shí)現特定的應用。再者,傳統的數據庫技術(shù)是面向應用的,企業(yè)往往針對不同的應用建立不同的數據庫,甚至選用不同的數據庫管理系統(Database Management System, DBMS)。因此,企業(yè)的業(yè)務(wù)數據分散地存儲在不同的數據庫(可能是同構的,也可能是異構的)中,不易于統一查詢(xún)訪(fǎng)問(wèn),而且大量的歷史數據脫機存放,無(wú)法進(jìn)行聯(lián)機查詢(xún)。在此情況下對數據進(jìn)行綜合分析時(shí),其結果往往缺乏可靠性且數據處理的效率很低。針對這種情況,為了適應企業(yè)發(fā)展和市場(chǎng)競爭的需要,人們設想建立一種數據中心,數據中心的數據從原有的多個(gè)用于聯(lián)機事務(wù)處理的數據庫中抽取得來(lái),這個(gè)數據中心專(zhuān)門(mén)用于數據的分析,為企業(yè)決策提供支持和服務(wù),這就是最初的數據倉庫[19]。

  現在的數據倉庫是決策支持系統的數據平臺,對于決策的效率和準確性有著(zhù)至關(guān)重要的影響。它更大的用處是進(jìn)一步分析數據源,用以支持經(jīng)營(yíng)管理中的決策制定過(guò)程[20] [21]。數據倉庫中的數據不是傳統數據庫中數據的簡(jiǎn)單堆積,它是一個(gè)復雜的容納數據集成的系統工程,為決策者提供訪(fǎng)問(wèn)、分析及共享信息的能力,從而發(fā)揮數據倉庫的真正功效。

  一個(gè)典型的數據倉庫系統是一種系統體系結構,如圖2.1所示,它一般有三層:最下的一層是數據倉庫,最上一層是決策支持工具,如聯(lián)機分析處理(On-Line Analytical processing,OLAP)等,中間的一層是中間件。在數據倉庫系統中有三個(gè)關(guān)鍵環(huán)節,即數據的抽取、轉換、整理和裝載,在目標數據庫中存儲轉換后的數據,用戶(hù)提供對目標數據庫的訪(fǎng)問(wèn)[22]。

圖2.1 數據倉庫系統體系結構圖

根據其本質(zhì)而言,數據倉庫具備以下四個(gè)關(guān)鍵特征[22]:

1.面向主題(Subject Oriented)的數據集合

  數據倉庫通常圍繞一些主題,如“產(chǎn)品”、“銷(xiāo)售商”、“消費者”等來(lái)進(jìn)行組織。數據倉庫關(guān)注的是決策者的數據建模與分析,而不針對日常操作和事務(wù)的處理。因此,數據倉庫提供了特定主題的簡(jiǎn)明視圖,排除了對于決策無(wú)用的數據。它面向主題是與傳統數據庫面向應用相對應的,是一個(gè)在較高層次上將數據歸類(lèi)的標準,每一個(gè)主題對應一個(gè)宏觀(guān)的分析領(lǐng)域。

2.集成(Integrated)的數據集合

  數據倉庫通常是結合多個(gè)異種數據源構成的,異種數據源可能包括關(guān)系數據庫、面向對象數據庫、文本數據庫、Web數據庫、一般文件等。集成的數據集合是指在這些數據源中的數據進(jìn)入數據倉庫之前,必須經(jīng)過(guò)數據加工和集成,這是建立數據倉庫的關(guān)鍵步驟,首先要清洗原始數據中的矛盾之處,還要將原始數據結構做一個(gè)從面向應用和面向主題的轉變。

3.時(shí)變(Time Variant)的數據集合

  數據存儲從歷史的角度提供信息,所以數據倉庫中包含時(shí)間元素,它所提供的信息總是與時(shí)間相關(guān)聯(lián)的。數掘倉庫中存儲的是一個(gè)時(shí)間段的數據,而不僅僅是某一個(gè)時(shí)刻的數據。它要求數據倉庫中的數據保存時(shí)限能滿(mǎn)足進(jìn)行決策分析的需要,而且數據倉庫中的數據都要標明該數據的歷史時(shí)期。

4.非易失(Nonvolatile)的數據集合

  數據倉庫總是與操作環(huán)境下的實(shí)時(shí)應用數據分離存放,因此不需要事務(wù)處理、恢復和并發(fā)控制機制。數據倉庫里的數據通常只需要兩種操作:初始化載入和數據訪(fǎng)問(wèn)。它反映的是歷史數據的內容,而不是日常事務(wù)處理產(chǎn)生的數據,數據經(jīng)加工和集成進(jìn)入數據倉庫后是極少或根本不修改的。因此其數據相對穩定,極少或根本不更新。

  綜上所述,數據倉庫是一種語(yǔ)義上規范的數據存儲,它在決策支持數據模型中充當物理實(shí)現的角色,并存放企業(yè)戰略決策所需的信息。數據倉庫也常常被視為一種體系結構,通過(guò)將異種數據源中的數據集成在一起而構成,支持結構化和專(zhuān)門(mén)的查詢(xún)、報告分析和決策制定。數據倉庫最根本的特點(diǎn)是物理地存放數據,這些數據并不是最新的、專(zhuān)有的,而是來(lái)源于其它數據庫的。數據倉庫的建立不是要取代數據庫,但因為它們面向的應用不同,所以要建立在一個(gè)較全面和完善的信息應用的基礎之上,才能用于支持高層決策分析,而事務(wù)處理數據庫在企業(yè)的信息環(huán)境中承擔的則是日常操作性的任務(wù)。數據倉庫是數據庫技術(shù)的一種新的應用。到目前為止,數據倉庫還是用數據庫管理系統來(lái)管理其中的數據,數據倉庫技術(shù)主要從數據庫中提取部門(mén)所需要的數據,以滿(mǎn)足部門(mén)級的需要[22]。

2.2 數據倉庫技術(shù)的優(yōu)越性

  數據倉庫技術(shù)較之傳統計的數據庫技術(shù)有著(zhù)明顯的優(yōu)越性,具體表現在以下幾個(gè)方面。

  首先,數據倉庫是一種有效的管理技術(shù),將分布在網(wǎng)絡(luò )中不同站點(diǎn)的商業(yè)數據集成到一起,為決策者提供各種類(lèi)型的、有效的數據分析,起到?jīng)Q策支持作用。它是一個(gè)壞境,而不是一件產(chǎn)品,它提供用戶(hù)用于決策支持的當前和歷史數據,這些數據在傳統的操作型數據庫中很難或不能得到[22] [23]。

  其次,傳統的關(guān)系型數據庫RDB遵循一致的關(guān)系型模型,其中的數據(記錄)以表格的方式存儲,并且能用統一的結構化查詢(xún)語(yǔ)言(SQL,Structual Query Language)進(jìn)行數據查詢(xún),因此它的應用常被稱(chēng)為聯(lián)機交易處理(OLTP),其重點(diǎn)在于完成業(yè)務(wù)處理,及時(shí)給予客戶(hù)響應。它能夠處理大型數據庫,但不能將其簡(jiǎn)單地堆砌就直接作為數據倉庫來(lái)使用。而數據倉庫主要工作的對象為多維數據,因此又稱(chēng)為多維數據庫。多維數據庫的數據以數組方式存儲,既沒(méi)有統一的規律可循,也沒(méi)有統一的多維模型可循,它只能按其所屬類(lèi)別進(jìn)行歸類(lèi)。以應用而言,多維數據庫應該具備極強的查詢(xún)能力,且存儲的信息既多又廣,但由于其完成的是一種聯(lián)機事物分析(OLAP),因此并不追求瞬時(shí)的響應時(shí)間,只是在有限的時(shí)間中給予響應即被認可[23]。

  然而,盡管數據倉庫與傳統數據庫之間存在著(zhù)如此大的差異,但設計數據倉庫并不是完全另起爐灶,而可利用現有的傳統處理數據,從中進(jìn)行信息的綜合,從而構造出滿(mǎn)足不同需求的數據倉庫。即數據從動(dòng)態(tài)的、目前事件驅動(dòng)的傳統工作數據流向靜態(tài)的、歷史性質(zhì)的數據倉庫。從理論上說(shuō),從工作數據中戰略性地引入到期的數據可以完成這種轉變,但是由于受到實(shí)際存儲容量和技術(shù)的限制,這實(shí)際上是不可能的。因此必須從工作數據中分離和篩選數據進(jìn)入到數據倉庫中。鑒于以上各種因素,為保證OLAP的性能,必須將數據倉庫和傳統工作的數據相分離[22]。

  最后,數據倉庫技術(shù)是把不同來(lái)源、格式和特點(diǎn)的數據在邏輯上或物理上有機地集中,從而為企業(yè)提供全面的數據共享,是企業(yè)商務(wù)智能、數據倉庫系統的重要組成部分。ETL技術(shù)是數據倉庫技術(shù)的主要解決方案,它能夠按照統一的規則集成并提高數據的價(jià)值,是負責完成數據從數據源向目標數據倉庫轉化的過(guò)程,是實(shí)施數據倉庫技術(shù)的重要步驟[22] [23]。

2.3 ETL關(guān)鍵技術(shù)研究

  數據倉庫系統的建立就是要通過(guò)數據分析來(lái)輔助自己決策,把最原始的數據資源轉換為信息、知識[24]。不過(guò)由于這些數據的來(lái)源、格式不一樣,導致了系統實(shí)施、數據整合的難度。要解決數據一致性與集成化問(wèn)題,就需要有一個(gè)全面的解決方案來(lái)擺脫困境,使其能夠從所有傳統環(huán)境與平臺中采集數據,并且該解決方案能夠對其進(jìn)行高效的轉換,這個(gè)解決方案就是ETL[22]。

  ETL是Extraction, Transformation和Loading的縮寫(xiě),指數據抽取、轉換和清洗、裝載的過(guò)程。它是實(shí)現數據倉庫之前的重要步驟,對于倉庫中數據質(zhì)量的保證具有重要意義。它從運作資源中抽取數據并按照一定的要求將數據進(jìn)行轉換和清洗,最后將高質(zhì)量的數據裝載到數據倉庫或數據集市中,為更高層次的應用提供決策分析[23]。ETL體系結構如圖2.2所示。

圖2.2 ETL體系結構圖

下面從ETL體系結構出發(fā),由三個(gè)方面來(lái)詳細研究ETL關(guān)鍵技術(shù)。

2.3.1 數據抽取

  數據抽取是指從數據源中抽取數據倉庫系統所需的數據。數據抽取采用統一的接口,可以從數據庫中抽取數據,也可以從文件中抽取。對于不同數據平臺、源數據形式、性能要求的業(yè)務(wù)系統,或者不同數據量的源數據,可能采用的接口方式就不同。為了保證抽取效率,減少對生產(chǎn)運營(yíng)的影響,對于大數據量的抽取,采取“數據分割、縮短抽取周期”的原則,對于直接的數據庫抽取,采取協(xié)商接口表的方式,保障生產(chǎn)系統數據庫的安全。
從數據庫中抽取數據一般有全量抽取和增量抽取兩種方式[23]。

1.全量抽取

  全量抽取類(lèi)似于數據遷移或數據復制,它將數據源中的表或視圖的數據原封不動(dòng)的從數據庫中抽取出來(lái),并轉換成自己的ETL工具可以識別的格式。總體來(lái)說(shuō),全量抽取比較簡(jiǎn)單。

2.增量抽取

  增量抽取只抽取自上次抽取以來(lái)數據庫中要抽取的表中新增或修改的數據。在ETL使用過(guò)程中,增量抽取較全量抽取應用更廣。如何捕獲變化的數據是增量抽取的關(guān)鍵。捕獲變化時(shí),首先要能夠將業(yè)務(wù)系統中的變化數據按一定的頻率準確地捕獲到;其次不能對業(yè)務(wù)系統造成太大的壓力,影響現有業(yè)務(wù)。

2.3.2 數據轉換和加工

  從數據源中抽取的數據不一定完全滿(mǎn)足目的數據庫的要求,例如數據格式的不一致、數據輸入錯誤、數據不完整等等,因此有必要對抽取出的數據進(jìn)行數據轉換和加工。

  數據轉換,主要是針對數據倉庫建立的模型,實(shí)現數據從業(yè)務(wù)模型到分析模型的轉換。數據轉換是將源數據變?yōu)槟繕藬祿年P(guān)鍵環(huán)節,它包括數據格式轉換、數據類(lèi)型轉換、數據清洗、數據拆分、數據匯總計算、數據拼接等,保證來(lái)自不同系統、不同格式的數據和信息模型具有一致性和完整性,并按要求裝入數據倉庫。

  數據的轉換和加工可以在ETL引擎中進(jìn)行,也可以在數據抽取過(guò)程中利用關(guān)系數據庫的特性同時(shí)進(jìn)行[23]。

1.ETL引擎中的數據轉換和加工

  ETL引擎中一般以組件化的方式實(shí)現數據轉換。常用的數據轉換組件有字段映射、數據過(guò)濾、數據清洗、數據替換、數據計算、數據驗證、數據加解密、數據合并、數據拆分等。這些組件如同一條流水線(xiàn)上的一道道工序,它們是可插拔的,且可以任意組裝,各組件之間通過(guò)數據總線(xiàn)共享數據。

2.在數據庫中進(jìn)行數據加工

  關(guān)系數據庫本身已經(jīng)提供了強大的SQL和函數來(lái)支持數據的加工,如在SQL查詢(xún)語(yǔ)句中添加where條件進(jìn)行過(guò)濾,查詢(xún)中重命名字段名與目的表進(jìn)行映射,substr函數,case條件判斷等等。

  相比之下,直接在SQL語(yǔ)句中進(jìn)行轉換和加工更加簡(jiǎn)單清晰,性能更高。對于SQL語(yǔ)句無(wú)法處理的可以交由ETL引擎處理。

2.3.3 數據裝載

  數據加載是將轉換后的數據加載到數據倉庫中,數據的加載可以采用數據加載工具,也可以采用編程進(jìn)行數據加載。數據加載具有加載周期,數據加載周期要綜合考慮經(jīng)營(yíng)分析需求和系統加載的代價(jià),對不同業(yè)務(wù)系統的數據采用不同的加載周期,但必須保持同一時(shí)間業(yè)務(wù)數據的完整性和一致性。

  將轉換和加工后的數據裝載到目的庫中通常是ETL過(guò)程的最后步驟。裝載數據的最佳方法取決于所執行操作的類(lèi)型以及需要裝入的數據量。

2.4 本章小結

  本章對可定制報表系統所涉及的數據倉庫和ETL關(guān)鍵技術(shù)進(jìn)行了綜述性的研究。該部分主要介紹了數據庫概念,研究了數據倉庫技術(shù)較之傳統數據庫的優(yōu)越性,數據ETL關(guān)鍵技術(shù)以及其各步驟的具體流程,為可定制報表系統的解決方案做了關(guān)鍵性技術(shù)前提。

  本文未經(jīng)許可謝絕轉載!

呼叫中心中可定制報表系統的設計與實(shí)現(二)
呼叫中心中可定制報表系統的設計與實(shí)現(三)
呼叫中心中可定制報表系統的設計與實(shí)現(四)

作者獨家供稿 CTI論壇報道



相關(guān)閱讀:
基于VoiceXML可視化IVR系統設計和實(shí)現(四) 2010-01-07
基于VoiceXML技術(shù)可視化IVR設計和實(shí)現(三) 2009-12-29
基于VoiceXML技術(shù)可視化IVR設計和實(shí)現(二) 2009-12-29
基于VoiceXML的可視化IVR系統設計和實(shí)現(一) 2009-09-22
上海易谷與Genesys達成大中華區長(cháng)期合作伙伴關(guān)系 2009-04-17

亚洲精品网站在线观看不卡无广告,国产a不卡片精品免费观看,欧美亚洲一区二区三区在线,国产一区二区三区日韩 富阳市| 酒泉市| 宜良县| 望城县| 乐山市| 汝阳县| 岢岚县| 庆元县| 铁岭县| 揭阳市| 新乡市| 海门市| 玉门市| 肃南| 星座| 尚志市| 通城县| 郸城县| 民勤县| 通城县| 天门市| 松滋市| 武义县| 桂平市| 崇文区| 保德县| 大丰市| 浦东新区| 资中县| 喜德县| 平江县| 运城市| 孙吴县| 通化县| 长武县| 兴安县| 宁阳县| 三河市| 库伦旗| 卢龙县| 安福县| http://444 http://444 http://444 http://444 http://444 http://444