海量存儲承載衛星環(huán)境監測的海量數據
“看清”霧霾 構筑更快捷、更靈活的海量存儲是關(guān)鍵
衛星承擔著(zhù)國家對地觀(guān)測、資源勘探等重要任務(wù)，可提供精準的對以霧霾等異常情況的觀(guān)測數據，成為政府環(huán)境治理決策的數據“智囊團”。
隨著(zhù)決策數據要求的精密性增加、以及衛星技術(shù)的不斷發(fā)展，衛星數據采集器的數據規模越來(lái)越龐大，對存儲設備的容量拓展、傳輸帶寬、可靠性等方面的要求越來(lái)越高。
首先，在數據量方面，一些高分衛星可在距離地面約36000公里的地球同步軌道運行，觀(guān)測面積大，并能長(cháng)期對某一地區持續觀(guān)測，其分辨率在50米以?xún)龋渴喾昼姳隳塬@取一幅圖像。衛星每日生成數據量8TB以上，年數據容量達到2.6PB以上。
其次，在存儲性能方面，衛星數據采集的原始數據主要為非結構化的文件數據，這些原始數據的接收和處理需要占用巨大的寫(xiě)入帶寬資源。根據分析內容和側重點(diǎn)不同，原始數據的加工處理方法也不同，同一套原始數據經(jīng)常需要反復讀取和處理，對存儲設備的讀寫(xiě)帶寬要求很高。而且，衛星采集器的數據庫龐大，前端應用系統對數據的調用開(kāi)銷(xiāo)很大，需要通過(guò)有效的方式提高數據庫的訪(fǎng)問(wèn)性能，減小前端系統的等待時(shí)間。
最后，存儲可靠性作為一個(gè)老生常談的話(huà)題，在衛星數據存儲中同樣需要得到充足的保障。
快捷、海量、高可靠 衛星海量存儲解決方案必備的“三板斧”
根據對衛星數據采集領(lǐng)域的海量存儲需求分析，浪潮衛星海量存儲整體解決方案框架如下：
浪潮衛星海量存儲解決方案架構圖
首先，對于衛星海量存儲的大容量需求，浪潮海量存儲系統支持多控制器的橫向擴展，實(shí)現了系統容量、性能的動(dòng)態(tài)擴展，通過(guò)最大5000個(gè)控制器的規模提供EB級海量存儲空間存儲能力，有效保證了衛星數據的未來(lái)8-10年的存儲容量需求。
同時(shí)，在容量擴展性方面，浪潮海量存儲也有獨到之處。衛星采集數據是海量的，且存儲容量和存儲性能隨著(zhù)業(yè)務(wù)量的增長(cháng)而增長(cháng)。通常一套系統的建設初期數據存儲和處理量不大，但未來(lái)會(huì )出現爆發(fā)式的增長(cháng)。如果采用一次性投入的方式，前期會(huì )造成較大的資源浪費，后期存儲系統容量及性能不足的時(shí)候又較難擴展，因此，較合理及高性?xún)r(jià)比的方案是采用分批建設。浪潮海量存儲系統具有很高的可擴展性，支持在線(xiàn)擴展且無(wú)需對中斷業(yè)務(wù)，做到存儲容量和性能的在線(xiàn)線(xiàn)性擴展。
浪潮海量存儲系統
其次，對于衛星大規模數據的存儲性能需求，浪潮海量存儲系統基于橫向動(dòng)態(tài)擴展控制器架構設計的浪潮海量存儲系統，通過(guò)全局緩存、最先進(jìn)的FDR Infiniband數據通信網(wǎng)絡(luò )、全交換、無(wú)阻塞的存儲交換網(wǎng)絡(luò )有效提供數百GB聚合帶寬，滿(mǎn)足了衛星數據接收、處理的高并發(fā)IO需求；同時(shí)，浪潮海量存儲系統的自動(dòng)分層功能可以把熱點(diǎn)數據遷移到FLASH緩存或SSD高性能存儲池中，實(shí)現熱點(diǎn)數據快速訪(fǎng)問(wèn)，也可以把文件按照大小進(jìn)行分級，衛星下傳小文件放在IOPS更高的磁盤(pán)池中，實(shí)現數據分層。其中閃存層，可以提供最大程度的性能提升、支持高性能OLTP系統；SAS層滿(mǎn)足數據庫中的各個(gè)不同層級和虛擬資源的數據存儲；大容量存儲層，實(shí)現對歸檔數據或冷數據的存儲。
再次，對于衛星大規模數據的高可靠需求，浪潮海量存儲系統利用橫向擴展多控制器架構、全局共享緩存、全交換網(wǎng)絡(luò )和多重冗余的數據保護機制，消除了海量存儲系統的單點(diǎn)故障。通過(guò)在線(xiàn)數據的快速復制、已接收數據的近線(xiàn)存儲、冷數據的備份實(shí)現了衛星數據的三級存儲備份保護，完美滿(mǎn)足衛星應用中的在線(xiàn)、近線(xiàn)、備份三級存儲要求；
同時(shí)，浪潮海量存儲系統支持數據跨數據中心、跨機房、機柜的容災，一份數據被寫(xiě)入多個(gè)數據中心中，支持掉電保護，為數據的安全可靠提供強大支持，跨中心的冗余保護避免單數據中心重要數據因意外災害導致的數據丟失，為衛星數據中心提供強有力的保障。
三級存儲 浪潮海量存儲承載“高分衛星”數據
“高分衛星”項目地面系統是國家高分辨率對地觀(guān)測系統的重要組成部分，其主要任務(wù)是通過(guò)搭建一體化的地面系統體系架構，在充分利用現有技術(shù)能力和基礎設施條件的基礎上進(jìn)行優(yōu)化，增強“高分衛星”地面系統對地觀(guān)測衛星的數據接收、綜合處理、數據庫與管理和分發(fā)服務(wù)等功能，提升運營(yíng)和服務(wù)能力。
結合衛星中心數據業(yè)務(wù)的特點(diǎn)，浪潮衛星海量存儲解決方案將整個(gè)存儲系統分為三個(gè)部分，備份存儲區子系統、近線(xiàn)存儲區子系統和在線(xiàn)存儲區子系統，三個(gè)存儲子系統統一由浪潮海量存儲系統管理，實(shí)現對數據進(jìn)行自動(dòng)調動(dòng)遷移和保存。
睜著(zhù)眼睛做決策
浪潮衛星海量數據整體解決方案，針對衛星數據采集的行業(yè)應用特點(diǎn)，提供了多種類(lèi)型的存儲資源，支持Windows/Unix/Linux等異構平臺，存儲系統具有大容量、高并發(fā)、高帶寬、高性能、高可擴展性等典型特征，滿(mǎn)足衛星采集器的數據存儲和處理分析需求，還通過(guò)分級存儲、自動(dòng)精簡(jiǎn)配置等方式提高存儲資源的利用效率、降低投入和運行成本。浪潮海量存儲系統可與數據處理系統、前端應用系統等無(wú)縫結合，提供統一的監控和管理平臺，改善客戶(hù)的管理和使用體驗。
“以前是閉著(zhù)眼睛干活，現在是睜著(zhù)眼睛做決策。浪潮海量存儲運行后，獲得和使用衛星對地監測的海量數據更加高效，對霧霾等異常環(huán)境監測更加精準。一句話(huà)，利用衛星數據使我們的眼睛更明亮，看得更清楚，決策就更有力。”某衛星數據中心信息化負責人說(shuō)。
