亚洲精品网站在线观看不卡无广告,国产a不卡片精品免费观看,欧美亚洲一区二区三区在线,国产一区二区三区日韩,日本久久久久,日本-区二区三区免费精品,中文字幕日本亚洲欧美不卡

您當(dāng)前的位置是:  首頁(yè) > 資訊 > 國(guó)際 >
 首頁(yè) > 資訊 > 國(guó)際 >

AWS正式推出數(shù)據(jù)湖管理工具Lake Formation

2019-08-12 13:56:20   作者:   來(lái)源:CTI論壇   評(píng)論:0  點(diǎn)擊:


  Lake Formation可以將不同來(lái)源的數(shù)據(jù)移入數(shù)據(jù)湖中,并對(duì)數(shù)據(jù)進(jìn)行爬梳、編目和整理,以利後續(xù)分析使用
  AWS在去年re:Invent 2018大會(huì)上介紹的數(shù)據(jù)湖管理工具AWS Lake Formation,現(xiàn)在推出正式版,用戶(hù)可以使用AWS Lake Formation對(duì)數(shù)據(jù)進(jìn)行擷取、清理、分類(lèi)、轉(zhuǎn)換以及保護(hù)的工作,方便後續(xù)分析或是機(jī)器學(xué)習(xí)使用。
  AWS提到,只要企業(yè)開(kāi)始使用數(shù)字格式的數(shù)據(jù),那就可能需要建立一個(gè)數(shù)據(jù)倉(cāng)儲(chǔ),從CRM或是ERP等營(yíng)運(yùn)系統(tǒng)收集數(shù)據(jù),并給其他決策支援系統(tǒng)使用,這些數(shù)據(jù)包括未組織的原始數(shù)據(jù)、日志、圖片、影片或是掃描的文件等,而這也是數(shù)據(jù)湖的概念,將所有數(shù)據(jù)以各種規(guī)模與形式,儲(chǔ)存在中央儲(chǔ)存庫(kù)中。
  而AWS新推出的數(shù)據(jù)湖服務(wù)Lake Formation,能簡(jiǎn)化數(shù)據(jù)湖的管理工作,用戶(hù)可以使用中央控制臺(tái),處理建置和配置數(shù)據(jù)湖繁雜的工作,包括載入不同來(lái)源的數(shù)據(jù)、監(jiān)控?cái)?shù)據(jù)流、設(shè)定數(shù)據(jù)分區(qū)、加密和管理金鑰,以及格式轉(zhuǎn)換與監(jiān)控營(yíng)運(yùn)等工作。
  只要在Lake Formation中指定數(shù)據(jù)來(lái)源,系統(tǒng)就會(huì)自動(dòng)從數(shù)據(jù)庫(kù)和物件儲(chǔ)存擷取數(shù)據(jù),并將這些數(shù)據(jù)儲(chǔ)存到Amazon S3數(shù)據(jù)湖中,以適當(dāng)?shù)拇笮∨c方式整理,增加存取效能,并以機(jī)器學(xué)習(xí)演算法清理和分類(lèi)數(shù)據(jù),為敏感數(shù)據(jù)提供存取保護(hù)。
  用戶(hù)還可以使用Glue ML Transforms刪除數(shù)據(jù)湖中重復(fù)的數(shù)據(jù),提高後續(xù)分析數(shù)據(jù)的效率,避免因?yàn)橹貜?fù)的數(shù)據(jù),造成分析工作的混淆。AWS提到,這項(xiàng)工作并非單純透過(guò)鍵值比對(duì),就能找出重復(fù)的數(shù)據(jù),很多情況需要進(jìn)行模糊比對(duì),像是當(dāng)用戶(hù)需要在不同表格查詢(xún)類(lèi)似的項(xiàng)目時(shí),就需要使用模糊連接(Fuzzy Join),在不共用唯一鍵值的兩個(gè)數(shù)據(jù)庫(kù)表格查詢(xún)相似數(shù)據(jù)。
  在保護(hù)數(shù)據(jù)存取方面,用戶(hù)可以在Lake Formation中,定義精細(xì)的存取政策,保護(hù)Glue Data Catalog中的元數(shù)據(jù),以及儲(chǔ)存在Amazon S3的數(shù)據(jù),AWS提到,在數(shù)據(jù)湖中管理存取權(quán)限是一件復(fù)雜的任務(wù),因?yàn)閿?shù)據(jù)的各種特性,包括結(jié)構(gòu)化與否、敏感性或是可存取的數(shù)據(jù)范圍不一,而Lake Formation賦予用戶(hù)以IAM使用者、角色、群組和AD來(lái)管理數(shù)據(jù)存取,也能夠拒絕表格特定的科目被存取。
【免責(zé)聲明】本文僅代表作者本人觀點(diǎn),與CTI論壇無(wú)關(guān)。CTI論壇對(duì)文中陳述、觀點(diǎn)判斷保持中立,不對(duì)所包含內(nèi)容的準(zhǔn)確性、可靠性或完整性提供任何明示或暗示的保證。請(qǐng)讀者僅作參考,并請(qǐng)自行承擔(dān)全部責(zé)任。

專(zhuān)題

CTI論壇會(huì)員企業(yè)

高要市| 和龙市| 大厂| 洱源县| 嘉义县| 辽源市| 武汉市| 元阳县| 南溪县| 德江县| 新昌县| 湖北省| 社旗县| 麻城市| 海伦市| 正镶白旗| 体育| 繁峙县| 仙居县| 汶上县| 丰都县| 赣州市| 东兴市| 元阳县| 沙河市| 江门市| 田东县| 巴林右旗| 麻栗坡县| 涿州市| 五寨县| 邛崃市| 颍上县| 宜川县| 同德县| 佛坪县| 建昌县| 延安市| 吉林省| 衢州市| 中山市|