
如今,越來(lái)越多的IT部門(mén)采用云計算。像AT&T、GE、CapitalOne這樣的企業(yè)已經(jīng)公開(kāi)宣布,他們打算將大部分工作負載轉移到云端,因為云端的數據安全性已經(jīng)變得不那么重要了。AWS是調研機構Gartner公司“云基礎架構即服務(wù)魔力象限”的市場(chǎng)領(lǐng)導者,它是近期IT采納云趨勢的主要受益者。然而,就像任何技術(shù)平臺一樣,組織不可能僅僅注冊一個(gè)賬戶(hù),沒(méi)采用一個(gè)謹慎的方法立即獲得回報。有興趣利用AWS的力量的組織應該在構建數據集成解決方案時(shí)考慮以下最佳實(shí)踐。
1.實(shí)現最佳帶寬和延遲的實(shí)現
采用AWS云的第一個(gè)最佳實(shí)踐與性能有關(guān)。這種做法假設-特別是對于諸如數據刷新(初始負載)之類(lèi)的大數據傳輸,網(wǎng)絡(luò )限制了性能。兩個(gè)因素限制了網(wǎng)絡(luò )數據傳輸速率:帶寬和延遲(往返時(shí)間)。大多數人了解帶寬限制,因為互聯(lián)網(wǎng)連接是按可用帶寬評估的。
然而,延遲可能會(huì )限制網(wǎng)絡(luò )性能,因為通過(guò)線(xiàn)路發(fā)送確認。延遲限制數據傳輸速率的程度取決于如何使用網(wǎng)絡(luò )通信(通常是TCP/IP)。而通信需要往返以確認數據是否被正確接收,以及(1)往返頻率,(2)往返之間的數據量,(3)往返時(shí)間之間的更快或后來(lái)的延遲將開(kāi)始限制數據傳輸速率。要最大限度地提高性能,請實(shí)施一個(gè)架構利用:
- 數據壓縮,因此需要傳輸更少的數據塊,并且每個(gè)塊都包含更多的數據
- 大塊傳輸,進(jìn)一步限制網(wǎng)絡(luò )傳輸
- 通信優(yōu)化(例如,通過(guò)發(fā)送集合大批量傳送確認的塊集)
2.識別感興趣的信息以提高效率
由于數據傳輸是一個(gè)潛在的瓶頸,所以必須盡量減少必須傳輸的數據量。為此,請使用更改數據捕獲(CDC)技術(shù)通過(guò)批量提取和后續的數據比較。基于日志的異步數據捕獲(CDC)被廣泛認為比基于觸發(fā)器的捕獲更為優(yōu)越,因為基于日志的數據捕獲(CDC)不會(huì )影響實(shí)際的事務(wù),因此,事務(wù)性應用程序的開(kāi)銷(xiāo)如果更加明顯,則會(huì )更少。基于日志的數據捕獲(CDC)可以通過(guò)在分布式設置中運行進(jìn)一步優(yōu)化。許多用例不需要所有數據庫更改,甚至在數據庫之外,數據庫事務(wù)日志除了存儲表數據更改外還存儲額外的數據。從效率角度來(lái)看,在發(fā)送跨網(wǎng)絡(luò )的更改前,確定與事務(wù)日志相近的信息子集是有意義的。
3.考慮采用除了防火墻以外的數據安全解決方案
組織實(shí)施數據安全的一種方法是盡可能?chē)烂艿劓i定防火墻,既限制開(kāi)放端口,又限制可能通過(guò)的網(wǎng)絡(luò )地址,以防止外部人員訪(fǎng)問(wèn)系統的可能性。由于企業(yè)IT不喜歡在他們的網(wǎng)絡(luò )中開(kāi)放防火墻,因此盡可能避免使用這種方法。
作為打開(kāi)防火墻的替代方案,請考慮以下三個(gè)選項。
首先,啟動(dòng)內部通信。在云端,使用虛擬私有云(VPC)IP地址進(jìn)行通信,而不是外部IP地址,以限制暴露。
安全的第二個(gè)方面是數據加密。除非企業(yè)的數據本質(zhì)上都不敏感,否則不能對數據進(jìn)行加密。使用SSL(安全套接字層,加密)通信,或只傳遞加密的數據。亞馬遜密鑰管理系統與其許多服務(wù)集成在一起,也可以通過(guò)API進(jìn)行客戶(hù)端加密。
安全性的第三個(gè)重要方面是身份驗證。AWS云平臺中有一個(gè)選項可以使用授權的實(shí)例配置文件自動(dòng)管理認證信息的輪換。考慮采用這種能力來(lái)簡(jiǎn)化密碼管理。外部身份驗證可以通過(guò)顯式SSL證書(shū)來(lái)改進(jìn),而不是像https調用那樣進(jìn)行協(xié)商的證書(shū)。
AWS云平臺是一個(gè)強大的工具-遵循這些最佳實(shí)踐可以充分發(fā)揮其潛力
云計算數據集成可以應用于各種用例:無(wú)論是從各種來(lái)源到S3數據湖,本地遷移到AWS云,在云端運行實(shí)時(shí)分析還是集成到各種云系統。不管用例如何,這三個(gè)關(guān)鍵的最佳實(shí)踐將確保企業(yè)的云計劃取得成功:
- 性能:如何最大限度地提高帶寬性能,
- 效率:在哪里以及如何讓“工作”發(fā)生,只處理正在發(fā)生的變化,
- 安全:如何確保數據在傳輸和空閑時(shí)的安全。