微軟云端平臺Azure最近宣布針對3項數據服務(wù)的更新，包含推出正式版的數據湖儲存服務(wù)Data Lake Storage Gen2和數據完全托管服務(wù)Data Explorer，此外，還推出預覽版的混合數據整合服務(wù)Data Factory，期望提供用戶(hù)性?xún)r(jià)比高又安全的云端數據分析服務(wù)。

　　數據湖儲存服務(wù)Data Lake Storage Gen2適用於巨量數據分析，結合了Azure非結構化儲存服務(wù)Blob Storage的可擴展性、安全模型和豐富的功能於一身，再加上為分析所設計的高效能的檔案系統，還能與Hadoop分散式檔案系統相容，讓用戶(hù)選擇云端數據湖服務(wù)時(shí)，不需要在成本和效能中取舍。

　　圖片來(lái)源：微軟

　　微軟指出，自家數據湖儲存服務(wù)其中一項主要目標，即是要與Apache生態(tài)系統相容，為了做到這點(diǎn)，微軟開(kāi)發(fā)Azure Blob檔案系統驅動(dòng)程式，該驅動(dòng)程式正式成為Apache Hadoop和Spark的一部分，并且附於許多 Hadoop的商業(yè)版本中。

　　為了進(jìn)一步提升Data Lake Storage Gen2的分析效能，微軟用階層式命名空間，收集檔案集合并整理成階層式目錄和巢狀子目錄，此種命名空間對巨量資量分析架構相當重要，由於Hive或是Spark等工具經(jīng)常將輸出寫(xiě)入暫時(shí)位置，并在作業(yè)結束時(shí)重新命名該位置，若沒(méi)有階層式命名空間，重新命名所花費的時(shí)間通常會(huì )比分析流程本身更長(cháng)，因此，階層式命名空間因為需要較少的運算執行，能夠加速job執行并減低成本。

　　而Data Explorer是一個(gè)快速且具有高擴展性的完全托管數據分析服務(wù)，能夠針對大量的串流數據進(jìn)行即時(shí)分析，在不需要修改數據結構的情況下，一秒內能夠查詢(xún)10億筆記錄，此外，該服務(wù)能與微軟云端其他服務(wù)相連，像是Data Lake Storage、SQL Data Warehouse、Power BI。為了提升速度和簡(jiǎn)化操作，Data Explorer由兩個(gè)分別的服務(wù)組成：Engine服務(wù)和數據管理服務(wù)，這兩項服務(wù)都在A(yíng)zure中，以運算節點(diǎn)的叢集形式部署。

　　圖片來(lái)源：微軟

　　數據管理服務(wù)負責消化多種不同型態(tài)的原始數據，并且管理數據清理、執行失敗和backpressure等任務(wù)，還能透過(guò)自動(dòng)索引和壓縮機制快速處理數據。而Engine服務(wù)則是負責處理輸入的原始數據和用戶(hù)的查詢(xún)，透過(guò)自動(dòng)擴展（Auto Scaling）和數據分割（data sharding）來(lái)達到高效能的目標。

　　最後，微軟這次的更新還推出混合數據整合服務(wù)Data Factory預覽版，Data Factory服務(wù)是用來(lái)將數據移動(dòng)和轉換工作自動(dòng)化的服務(wù)，內建超過(guò)80個(gè)與結構化、半結構化和非結構化數據源的連接器。除此之外，該服務(wù)還提供數據工作流程可視化工具M(jìn)apping Data Flow，提供用戶(hù)在設計、建置和管理數據轉換的過(guò)程有可視化的體驗，不需要學(xué)習Spark或是對分散式基礎架構有深入的了解。