刀片服務(wù)器在移動(dòng)業(yè)務(wù)系統中應用

趙澤 2009/08/13

一、項目背景和問(wèn)題的提出

　　河南移動(dòng)業(yè)務(wù)支撐系統遵循集團總部BOSS3.0整體規劃和規范，已經(jīng)基本完成相關(guān)部署工作，包含客戶(hù)服務(wù)應用部署、BOSS與DSMP接口改造、欠費風(fēng)險控制、門(mén)戶(hù)網(wǎng)站業(yè)務(wù)和數據一致性管理機制。另外進(jìn)一步完善和明晰河南移動(dòng)BOSS系統的體系結構、應用軟件結構、系統邊界和外部接口、系統功能及系統指標等基本定位與要求，從而為河南移動(dòng)業(yè)務(wù)組織、管理及市場(chǎng)經(jīng)營(yíng)、客戶(hù)服務(wù)等工作提供持續、有效的運營(yíng)支撐。系統改造完成后，將支撐河南移動(dòng)4000萬(wàn)計費用戶(hù)話(huà)務(wù)量增長(cháng)以及業(yè)務(wù)發(fā)展的要求，滿(mǎn)足其對集團類(lèi)業(yè)務(wù)、數據業(yè)務(wù)、奧運業(yè)務(wù)和其他新業(yè)務(wù)快速開(kāi)發(fā)和上線(xiàn)的要求。

　　2009年，隨著(zhù)中國電信、中國聯(lián)通3G業(yè)務(wù)的逐步推廣，三大電信運營(yíng)商相繼推出各自的3G移動(dòng)品牌，中國移動(dòng)作為中國最大的電信運營(yíng)商，將面臨中國電信和中國聯(lián)通在移動(dòng)通信行業(yè)上的白熱化競爭，在移動(dòng)通信市場(chǎng)3G產(chǎn)品同質(zhì)化日益嚴重的情況下，中國移動(dòng)將持續貫徹王建宙掌門(mén)人精細化管理和臻于至善的方針，通過(guò)提高服務(wù)水平和管理水平，發(fā)揮中國移動(dòng)信息服務(wù)專(zhuān)家的品牌優(yōu)勢，保持在競爭中的優(yōu)勢。

　　河南作為中國的人口大省，移動(dòng)通信運營(yíng)的競爭將更加激烈，河南移動(dòng)如何在支撐系統建設過(guò)程中引入先進(jìn)的系統建設思路和技術(shù)，建立一個(gè)能夠滿(mǎn)足不斷增長(cháng)和變化的業(yè)務(wù)需求的系統架構，這套系統架構易于管理和維護，并在最大程度上降低設備采購成本和運營(yíng)成本？

1.問(wèn)題分析和解決思路

　　1.1 原業(yè)務(wù)支撐系統的建設模式

　　建設BOSS3.0以前，河南移動(dòng)的業(yè)務(wù)支撐系統全部選用UNIX小型機作為主服務(wù)器設備，UNIX小型機具有處理能力高,單機穩定性好的優(yōu)點(diǎn)，但同時(shí)，UNIX小型機也存在采購成本高、運行維護成本高、運行維護相對復雜等問(wèn)題。隨著(zhù)業(yè)務(wù)支撐系統能力要求不斷提升，UNIX小型機的高成本成為系統建設的瓶頸。"降低TCO成本、提升性能、節能減排"成為河南移動(dòng)業(yè)務(wù)支撐系統建設關(guān)注的重點(diǎn)。

　　1.2 業(yè)務(wù)支撐基礎架構設施的建設思路

　　河南移動(dòng)一直在追蹤最新的互聯(lián)網(wǎng)技術(shù)與硬件技術(shù)的發(fā)展，發(fā)現互聯(lián)網(wǎng)企業(yè)系統架構模式值得借鑒：互聯(lián)網(wǎng)應用多運行于PC服務(wù)器、刀片服務(wù)器等低端設備上，系統通過(guò)先進(jìn)的技術(shù)架構與集群部署方式支撐大量在線(xiàn)訪(fǎng)問(wèn)、交易并保持高效、穩定的運行，典型的如Google、淘寶均使用刀片集群作為運行平臺。河南移動(dòng)借鑒互聯(lián)網(wǎng)系統架構思路，結合系統特點(diǎn)對業(yè)務(wù)支撐系統架構進(jìn)行優(yōu)化、創(chuàng )新，實(shí)現了將CRM應用部署于刀片服務(wù)器機群的創(chuàng )新。

　　實(shí)現CRM應用基礎架構的優(yōu)化需要在軟件、硬件上進(jìn)行縝密論證：

　　在軟件技術(shù)層面上，河南移動(dòng)BOSS3.0的CRM系統采用三層軟件架構，基于亞信公司AppFrame平臺設計、開(kāi)發(fā)。AppFrame平臺采用分布式架構設計，底層采用分布式EJB實(shí)現，整體系統架構完全支持集群化、分布業(yè)務(wù)處理。AppFrame平臺完全基于J2EE開(kāi)發(fā)，具備良好的可移植性，應用組件可以運行于任何支持J2EE的操作系統上。AppFrame平臺提供了多種應用系統級容錯機制，通過(guò)會(huì )話(huà)復制、服務(wù)可用性判斷、路由分發(fā)、應用自適應調整、災備切換等方式保證系統穩定。AppFrame平臺提供Deploy機制和應用監控機制，使基于該平臺的應用具備自動(dòng)快速部署能力和分布式應用的集中監控、跟蹤能力。基于A(yíng)ppFrame平臺的CRM系統具備了"分布式處理能力、跨平臺運行能力、系統級容錯能力、集群部署能力、集中監控能力"。上述能力的具備，使河南移動(dòng)CRM系統具備了運行于刀片機群了條件。

　　在硬件設備層面，隨著(zhù)服務(wù)器技術(shù)的發(fā)展，刀片服務(wù)器技術(shù)日趨成熟。刀片服務(wù)器是一種高密度服務(wù)器，專(zhuān)為實(shí)現數據中心的便利性而打造。在標準高度的機架式機箱內可插裝多個(gè)卡式的服務(wù)器單元，實(shí)現高可用和高密度。每一塊"刀片"實(shí)際上就是一塊系統主板，它們可以通過(guò)"板載"硬盤(pán)啟動(dòng)自己的操作系統，如Windows、Linux等，類(lèi)似于一個(gè)個(gè)獨立的服務(wù)器，在這種模式下，每一塊母板運行自己的系統，服務(wù)于指定的不同用戶(hù)群，相互之間沒(méi)有關(guān)聯(lián)，不過(guò)，管理員可以使用系統軟件將這些母板集合成一個(gè)服務(wù)器集群。刀片服務(wù)器和傳統服務(wù)器相比具有很多優(yōu)勢：適用于服務(wù)器集群；低成本；線(xiàn)纜大規模地減少；低功耗；模塊化，實(shí)現了物理"即插即用"和"即購即換"處理的高效性。

　　結合先進(jìn)的軟件、硬件技術(shù)，CRM系統應用服務(wù)器替換為刀片服務(wù)器集群成為可能。新的CRM系統架構將具備由冗余節點(diǎn)方式提供的高可靠性，一旦單臺刀片節點(diǎn)發(fā)生故障，應用系統將自動(dòng)切換至其他節點(diǎn)提供服務(wù)；支持通過(guò)擴充應用服務(wù)器數量的方式擴展業(yè)務(wù)處理能力。最為重要的是，這種新的BOSS基礎架構設備投資低于采用小型機方案的數倍。

2 業(yè)務(wù)支撐系統引入刀片服務(wù)器的技術(shù)方案

　　河南移動(dòng)BOSS3.0 CRM系統采用三層架構部署，分別為前端業(yè)務(wù)接入服務(wù)器、應用服務(wù)器和數據庫服務(wù)器，網(wǎng)絡(luò )拓撲圖如下：

　　1) 接入服務(wù)器：接入服務(wù)器為營(yíng)業(yè)系統提供自建營(yíng)業(yè)廳、合作營(yíng)業(yè)廳、代辦點(diǎn)、連鎖店等所有的營(yíng)業(yè)終端接入服務(wù)，以及電子渠道等營(yíng)業(yè)相關(guān)業(yè)務(wù)接入，通過(guò)網(wǎng)頁(yè)的形式展現。前端訪(fǎng)問(wèn)請求可以通過(guò)負載均衡器，分配訪(fǎng)問(wèn)量到各個(gè)WEB Server。這樣，即使有某臺Server出現故障，其他Server將繼續提供服務(wù)，接入服務(wù)器群主要采用HP ProLiant BladeSystem刀片服務(wù)器系統，機型是HP Blade System BL465c G5， BL465c 具有AMD雙處理器與標準 1U 機架安裝式服務(wù)器相同的特性，該產(chǎn)品集成了節能的計算功能和高密度性、擴展的內存和 I/O，極大地提高了性能。此款均衡架構帶有四核 AMD Opteron（皓龍）處理器、DDR2 內存、串行硬盤(pán)、多功能千兆網(wǎng)絡(luò )支持和多 I/O 卡，可為您提供一個(gè)適合多種應用的高性能系統。同時(shí)，外形小巧的 BL465c 中還包括確保高可用性的特性，如熱插拔硬盤(pán)驅動(dòng)器、內存交錯、嵌入式 RAID 功能、以及提高的遠程 Lights-Out 管理。采用HP C7000機箱，10U高，可放16個(gè)半高或8個(gè)全高的刀片服務(wù)器，

　　2) 應用服務(wù)器：在應用服務(wù)器上部署中間件，提供營(yíng)業(yè)業(yè)務(wù)處理邏輯，并連接后端數據庫服務(wù)器，應用服務(wù)器群集通過(guò)中間件提供并行處理方式，提高系統的可用性和可擴展性，應用服務(wù)器采用HP Blade System BL685c G5刀片服務(wù)器，HP ProLiant BL685c具有極密集 4 處理器刀片式服務(wù)器的杰出性能，包括四核處理器、大內存容量和同類(lèi)設備中更出色的網(wǎng)絡(luò )連接：最多 4 個(gè) AMD Opteron（皓龍）8300 四核系列處理器，具有 64 位四核計算功能以及業(yè)界領(lǐng)先的每瓦性能和每瓦性?xún)r(jià)比；支持 AMD Dual Dynamic Power Management 技術(shù)，以?xún)?yōu)化設備性能、降低設備功耗；16 個(gè) DIMM 插槽可支持高達 128GB ECC 667MHz 寄存式 DDR2 內存，可用于內存密集型應用；2 個(gè)嵌入式多功能千兆網(wǎng)卡帶有 TCP/IP 卸載引擎 (TOE) 和 iSCSI 支持；2 個(gè)嵌入式千兆以太網(wǎng)網(wǎng)卡；3 個(gè)中間件 I/O 擴展插槽可安裝配置選件，例如多功能千兆網(wǎng)卡、1GB 和 10GB 千兆以太網(wǎng)網(wǎng)卡、光纖通道和 Infiniband。

　　3) 數據庫服務(wù)器：直接與應用服務(wù)器進(jìn)行數據交換，應用服務(wù)器訪(fǎng)問(wèn)數據庫進(jìn)行數據操作，數據庫服務(wù)器采用RAC方式提供性能和可靠性的保證，數據庫服務(wù)器采用UNIX小型機。

在進(jìn)行CRM應用服務(wù)器替換為刀片服務(wù)器的同時(shí)，CRM應用、部署進(jìn)行了相應的優(yōu)化、調整，保證設備替換后系統運行的高性能、高穩定性：

　　1) CRM應用優(yōu)化。針對應用部署的集群化，優(yōu)化應用發(fā)布模塊，實(shí)現應用分布式、自動(dòng)化部署。優(yōu)化系統監控模塊提供對分布式系統應用追蹤、監控功能，實(shí)現對服務(wù)、事物/數據庫連接、系統訪(fǎng)問(wèn)、SQL的多方面監控。及時(shí)發(fā)現問(wèn)題和缺陷并進(jìn)行優(yōu)化調整。如：服務(wù)跟蹤功能可以實(shí)時(shí)進(jìn)行營(yíng)業(yè)員前臺操作、后臺服務(wù)調用、數據庫數據操作的整個(gè)操作軌跡的跟蹤、分析。

　　2) 應用整合。CRM應用架構整合所有業(yè)務(wù)功能，而不是原有的一套業(yè)務(wù)屬性對應一套業(yè)務(wù)系統。在每臺服務(wù)器上均部署相同的應用，通過(guò)設置實(shí)現不同服務(wù)器/業(yè)務(wù)域實(shí)現不同的功能；單個(gè)模塊或者功能點(diǎn)的失效、升級或者failover通過(guò)模塊控制進(jìn)行設置。

　　3) 應用部署集群化。CRM應用采用集群部署，將若干服務(wù)器設置為一個(gè)功能域，為特定的接入渠道服務(wù)；同時(shí)，同一集群的刀片分布于不同的機框中，避免一個(gè)機柜故障導致整個(gè)應用集群的不可用。采用分散部署的方式可以在單個(gè)進(jìn)程/設備/機柜不可用情況下由其他設備進(jìn)行應用分擔，任一點(diǎn)出現問(wèn)題，不會(huì )造成系統整體影響問(wèn)題，提高系統的可用性。

　　4) 應用部署自適應調整機制。不同應用集群應用負載設置性能壓力閾值，當某個(gè)集群壓力超過(guò)閾值將自適應/手工進(jìn)行調整，使用備用集群或其它集群部分資源進(jìn)行負載分擔。當業(yè)務(wù)量降低，又會(huì )調整回去。通過(guò)自適應調整機制均衡各應用集群的能力。

　　5) 設置備用刀片集群。當生產(chǎn)設備故障時(shí)可以將應用接入到備用集群；同時(shí)，在應用系統升級、生產(chǎn)設備檢修時(shí)也可以將應用切換到備用集群上。通過(guò)備用刀片集群的設置提升了系統的穩定性和可維護性。

　　3.1 降低購置成本

　　如果用8臺機架式服務(wù)器和8臺刀片服務(wù)器相比較，帶有光纖通道連接的HP BladeSystem的成本比機架式服務(wù)器成本低15-2%，服務(wù)器數量超過(guò)3-4臺之后，購買(mǎi)刀片服務(wù)器就要比傳統機架式服務(wù)器更加經(jīng)濟。

　　采用上面相同的比較，不帶光纖通道連接的HP BladeSystem（只有內部驅動(dòng)器）的成本比同級別機架安裝基礎設施成本低1-4％，服務(wù)器數量超過(guò)6-8臺之后，購買(mǎi)刀片服務(wù)器就要比傳統機架式服務(wù)器更加經(jīng)濟。

　　3.2 降低運營(yíng)成本

　　初始設置時(shí)間從每臺服務(wù)器12小時(shí)降低到30分鐘，實(shí)施變更和重新配置的時(shí)間從4小時(shí)降低到30分鐘，假設每小時(shí)的平均管理成本為43美元，若使用HP BladeSystem，每年100臺服務(wù)器的成本可從68,800美元降低到8,600美元。

　　與采用專(zhuān)用服務(wù)器存儲相比，采用網(wǎng)絡(luò )存儲可管理多達6倍的存儲，從而將從存儲管理節省的資源用于戰略創(chuàng )新。

　　3.3 更好的性能表現

　　采用分布式系統設計和操作系統優(yōu)秀的內核應用處理效率獲得顯著(zhù)提升。CRM部分業(yè)務(wù)的性能提高在30%-50%之間。

　　現有系統采用集群方式部署、分布式計算，在計算能力提升的同時(shí)有效降低單主機負載。采用小型機時(shí)，主機忙時(shí)平均負載在35%；替換后，單主機忙時(shí)平均負載降低到20%。

　　3.4 更高可用性

　　系統可用性提升

　　河南移動(dòng)CRM系統的刀片服務(wù)器安置于多臺機柜中，應用劃分為多個(gè)業(yè)務(wù)組，同一分組的應用部署于不同機柜的刀片上。通過(guò)應用部署避免設備故障導致全系統癱瘓。

　　系統提供故障節點(diǎn)判斷能力，當發(fā)現某進(jìn)程/設備故障時(shí)，系統自動(dòng)將請求分發(fā)至其他節點(diǎn)并進(jìn)行告警，由于采用多服務(wù)器集群方式進(jìn)行負載分擔，降低了單節點(diǎn)故障對整體系統影響。

　　系統提供應用分組負載自適應調整機制，某分組壓力過(guò)大時(shí)，可以將服務(wù)請求分流至其他低負載分組上。

　　設置備用刀片組作為系統設備冗余。備用服務(wù)器上應用部署與其他設備相同，處于在線(xiàn)運行狀態(tài)，當生產(chǎn)設備故障、應用升級、設備檢修時(shí)可以將服務(wù)請求接入至備用集群。

　　硬件可用性提升

　　刀片服務(wù)器具備"熱插拔"的能力。某臺刀片設備故障時(shí)，僅需將故障刀片拖出機箱，插入新刀片替換即可。

　　整合的基礎設施可避免由于各種原因所造成的停機現象，諸如線(xiàn)纜、服務(wù)器、存儲、開(kāi)關(guān)故障；人為配置錯誤、以及軟件、電源和散熱問(wèn)題。解決上述問(wèn)題的時(shí)間大幅度減少，每年計劃內和計劃外的停機時(shí)間可減少近100%；設備內建N+1冗余，因而無(wú)需閑置、備用的部件，另外還提供了N+1冗余設計，因此而降低了冗余硬件成本。

　　刀片服務(wù)器通過(guò)集群方式提供高性能的服務(wù)，但設備數量成倍增加給系統的維護、管理帶來(lái)一定的難度和工作量的增加。考慮到這一問(wèn)題，CRM系統提供了自動(dòng)部署和系統服務(wù)追蹤、監控功能，保證應用服務(wù)器刀片化的同時(shí)系統仍具備高可維護性。

　　自動(dòng)應用部署支持自動(dòng)化、分布式的部署方式，極大簡(jiǎn)化應用部署。發(fā)布通過(guò)控制設備支持全量、增量可視化發(fā)布，整個(gè)發(fā)布過(guò)程無(wú)須人工干預，僅需要15分鐘；支持針對不同邏輯業(yè)務(wù)組定向發(fā)布。通過(guò)平臺發(fā)布組件的應用自動(dòng)發(fā)布功能，系統不因服務(wù)器數量的增加而增加發(fā)布的工作量和差錯率。

　　CRM系統實(shí)現了追蹤、監控功能，可以實(shí)現對服務(wù)、事物/數據庫連接、系統訪(fǎng)問(wèn)、SQL的多方面監控。及時(shí)發(fā)現問(wèn)題和缺陷并進(jìn)行優(yōu)化調整。如：服務(wù)跟蹤功能可以實(shí)時(shí)進(jìn)行營(yíng)業(yè)員前臺操作、后臺服務(wù)調用、數據庫數據操作的整個(gè)操作軌跡的跟蹤、分析。系統的實(shí)時(shí)監控、服務(wù)狀態(tài)跟蹤和故障定位能力使維護人員可以及時(shí)發(fā)現薄弱環(huán)節、準確定位問(wèn)題從而指導系統優(yōu)化。

　　系統使用刀片服務(wù)器替換后，數據中心設備與管理員的比例大為降低，節省大量的管理投入。

　　3.6 更高可擴展性

　　軟件系統由于采用J2EE技術(shù)，具備了跨平臺運行能力和極強的擴展能力。系統在不進(jìn)行任何編碼的情況下，可以實(shí)時(shí)，在線(xiàn)的進(jìn)行容量擴展，利用更多的設備，為移動(dòng)業(yè)務(wù)發(fā)展提高更高的保證。

　　硬件設備擴容上，刀片服務(wù)器可以通過(guò)在線(xiàn)/離線(xiàn)增加設備的方式進(jìn)行擴容和優(yōu)化，即Scale out模式。刀片集群擴展時(shí)，僅需要根據處理能力需求將擴容刀片插入機框即可。系統可以實(shí)時(shí)、在線(xiàn)的進(jìn)行容量擴展。

　　采用全新的軟件架構與刀片服務(wù)器的CRM系統擴容更加靈活性、簡(jiǎn)便。計算能力需求實(shí)現的顆粒度更加細致。

　　3.7 更好的節能減排效果

　　通過(guò)CRM應用服務(wù)器替換，標準42U機柜占用減少40%，耗電量節省57%。

　　3.8 線(xiàn)纜復雜度降低

　　傳統服務(wù)器架構的布線(xiàn)增加了巨大的復雜性，是系統停機和不靈活的一個(gè)主要根源。

　　采用刀片服務(wù)器可以減少87%的線(xiàn)纜，平均每個(gè)1000M網(wǎng)絡(luò )端口可節約100到350美元。

　　通過(guò)先進(jìn)的采用IP的iLO2管理功能，消除了KVM交換機和線(xiàn)纜的需要，每個(gè)機架可另外節省高達25,000美元。

　　4.1 設備選擇創(chuàng )新

　　率先在業(yè)務(wù)支撐系統的核心應用系統中采用刀片服務(wù)器，與傳統的UNIX服務(wù)器相比，刀片服務(wù)器的采購成本大大降低，且具備占用空間小、耗電量低、管理和配置簡(jiǎn)單靈活等特點(diǎn)，在實(shí)際的系統運營(yíng)過(guò)程中同時(shí)降低了機房空間、耗電和管理成本。

　　4.2 系統架構創(chuàng )新

　　傳統的業(yè)務(wù)支撐系統應用服務(wù)器部署一般采用集群軟件形成主備方式的集群，當主服務(wù)器發(fā)生故障時(shí)，集群軟件監測到故障，自動(dòng)將系統和應用切換到備份服務(wù)器上。河南移動(dòng)BOSS3.0 CRM系統應用服務(wù)器采用統一開(kāi)發(fā)、運行平臺，所有的應用服務(wù)器統一提供對外服務(wù)，業(yè)務(wù)邏輯分布在多個(gè)節點(diǎn)上處理，單臺節點(diǎn)發(fā)生故障不影響系統正常服務(wù)，從另外一個(gè)層面提供了系統可靠性保證。

　　此外，系統性能的擴展也可以通過(guò)增加服務(wù)器節點(diǎn)的方式實(shí)現，不需要停止現有的應用服務(wù)，簡(jiǎn)單靈活。

　　4.3 系統運營(yíng)管理創(chuàng )新

　　新系統建成后，整體的系統管理從單一服務(wù)器管理轉換為刀片服務(wù)器集群管理，利用HP刀片服務(wù)器完善的管理工具，新服務(wù)器的擴展從傳統的單機安裝、連線(xiàn)、加電、配置、上線(xiàn)，轉換成插板、集群配置和發(fā)布、上線(xiàn)，大大降低了系統升級、配置和管理的工作量。

5.效益分析

　　通過(guò)新的系統架構和刀片服務(wù)器設備的引入，在保障系統可靠性和系統性能擴展性的前提下，降低了業(yè)務(wù)支撐系統設備采購成本和系統運營(yíng)成本。

作者：中國移動(dòng)通信集團河南有限公司業(yè)務(wù)支援中心 趙澤

GreaterChinaCRM (www.gccrm.com)