AWS在去年re:Invent 2018大會(huì )上介紹的數據湖管理工具AWS Lake Formation，現在推出正式版，用戶(hù)可以使用AWS Lake Formation對數據進(jìn)行擷取、清理、分類(lèi)、轉換以及保護的工作，方便後續分析或是機器學(xué)習使用。

　　AWS提到，只要企業(yè)開(kāi)始使用數字格式的數據，那就可能需要建立一個(gè)數據倉儲，從CRM或是ERP等營(yíng)運系統收集數據，并給其他決策支援系統使用，這些數據包括未組織的原始數據、日志、圖片、影片或是掃描的文件等，而這也是數據湖的概念，將所有數據以各種規模與形式，儲存在中央儲存庫中。

　　而AWS新推出的數據湖服務(wù)Lake Formation，能簡(jiǎn)化數據湖的管理工作，用戶(hù)可以使用中央控制臺，處理建置和配置數據湖繁雜的工作，包括載入不同來(lái)源的數據、監控數據流、設定數據分區、加密和管理金鑰，以及格式轉換與監控營(yíng)運等工作。

　　只要在Lake Formation中指定數據來(lái)源，系統就會(huì )自動(dòng)從數據庫和物件儲存擷取數據，并將這些數據儲存到Amazon S3數據湖中，以適當的大小與方式整理，增加存取效能，并以機器學(xué)習演算法清理和分類(lèi)數據，為敏感數據提供存取保護。

　　用戶(hù)還可以使用Glue ML Transforms刪除數據湖中重復的數據，提高後續分析數據的效率，避免因為重復的數據，造成分析工作的混淆。AWS提到，這項工作并非單純透過(guò)鍵值比對，就能找出重復的數據，很多情況需要進(jìn)行模糊比對，像是當用戶(hù)需要在不同表格查詢(xún)類(lèi)似的項目時(shí)，就需要使用模糊連接（Fuzzy Join），在不共用唯一鍵值的兩個(gè)數據庫表格查詢(xún)相似數據。

　　在保護數據存取方面，用戶(hù)可以在Lake Formation中，定義精細的存取政策，保護Glue Data Catalog中的元數據，以及儲存在A(yíng)mazon S3的數據，AWS提到，在數據湖中管理存取權限是一件復雜的任務(wù)，因為數據的各種特性，包括結構化與否、敏感性或是可存取的數據范圍不一，而Lake Formation賦予用戶(hù)以IAM使用者、角色、群組和AD來(lái)管理數據存取，也能夠拒絕表格特定的科目被存取。