從前的人們很難想象,有朝一日我們能夠利用遙感衛星從太空窺探深藏大地的“秘密”。
6月初,大理州劍川縣的劍湖單看像一片月牙,給人一種圓潤的美感。加上被旁筆直的阡陌、錯落的村莊以及綠油油的田野包圍,劍湖又好似一個正在孕育中的“寶寶”。
8月中旬,一片呈螺旋性旋轉的巨大雲團以每秒數十米的強風速呈逆時針方向旋轉的同時,又以每小時數十公里的運行速度向我國沿海城市襲來……
這些遙感衛星不僅能生動形象地展示祖國的秀麗河山還能監測颱風。當然,遙感衛星的作用遠不止於此:天氣預報、國防建設、城市規劃、森林火災監測、洪澇災害監測等也是遙感衛星的重要應用領域,國內某衛星單位幾十年如一日的做著這些事情,為我國的經濟建設和社會發展作出了重要貢獻。
國內某衛星單位成立於1991年,承擔著我國對地觀測衛星數據處理、存檔、分發和服務設施建設與運行管理。例如,在礦產勘察工作中,該單位通過遙感圖像數據收集、數據預處理、信息提取、遙感異常圈定和遙感地質編圖等處理步驟,實現礦場資源預測評價。
經過多年發展,該單位的衛星系統已經從過去單一類型的衛星轉變為現在的陸地觀測和高分系列衛星,業務範圍也從過去只專注於國內需求,轉向國內和國際。迄今為止,該單位運行管理著資源系列、環境減災系列、高分系列等十餘顆衛星;有將近3000個法人單位,1萬多個註冊用戶。截至目前,該單位分發的數據量已超過1000萬件,已經成為國家陸地、氣象、海洋三大衛星數據中心之一。
海量數據的存儲、檢索、分發是難題
遙感衛星收集的影像數據,需要在地面進行集中處理和分發。2005年,該單位的數據處理系統主要有三個,即:CBERS衛星實驗系統用戶服務分系統、CBERS-02B衛星用戶服務分系統和全國陸地觀測衛星數據分發分系統。海量的數據需要高效的地面數據處理系統。2011年,該單位在資源三號衛星和資源02C衛星地面系統建設時,將上述所有分系統數據進行了整合,建成了統一對外服務的數據分發服務分系統。
以往的影像數據是對歷史真實、客觀的記錄,隨著時間推移會越來越珍貴,需要永久留存,而多顆衛星同時運作,需要存檔的數據就會越來越多。據統計,2015年9月,該單位衛星的在線數據存儲達到了10拍,這些衛星每天還會產生超過10太的數據需要存儲。
當前對地觀測衛星的主要特點表現在高空間分辨率、高光譜分辨率、回訪週期短、影像條帶寬、立體成像能力和多種成像模式等方面,越來越多的不同平臺搭載的觀測傳感器使得人們可以獲得近乎連續高維度數據,這種信息採集的爆炸式增長給分發服務系統帶來了巨大的壓力,該系統逐漸暴露出了效率和服務等各種問題,而且隨著新型載荷不斷髮展,對分發服務的服務模式也提出了更多要求。
為了更好地開展對海量數據的大數據分析與挖掘,該單位想在私有云上使用搜索引擎和數據庫等應用。部署的時候,IT團隊發現,這些應用與原有的虛擬化環境並不能很好的兼容,要解決這個問題需要對現有的虛擬化雲平臺以及裸機平臺進行統一的資源管理,營造一個隨時、隨需的申請和使用存儲、計算資源的雲實施環境。
基於Animbus打造“即申即用”的雲環境
為此,該單位早前就採用了九州雲Animbus平臺,該平臺基於OpenStack、Ceph、外接EMC商業存儲為其構建了一個內部OpenStack私有云平臺。私有云平臺對現有的網絡交換機、X86服務器、Isilon存儲等硬件資源進行了集成,軟件層面則提供前臺門戶、虛機定製、流程審批、分佈式存儲和對象存儲等功能。具體如下圖所示:
私有云平臺的搭建,一方面實現了異構資源統一納管,兼顧傳統網絡和雲網絡的無縫對接、平滑過渡和統一管理,幫助該單位減小了雲平臺的運維難度;另一方面,該單位已經形成了基於專線、電子政務網和互聯網“三網合一”的不同層次、多類用戶的數據分發體系,該平臺的使用也實現了資源實時推送管理分發,為信息共享提供了數據保障。具體效果如下:
專線:與國土資源部、環境保護部、水利部、住建部、減災委、交通部等國家部委建設了21條專線,實現了數據的自動推送服務;
電子政務網:覆蓋範圍擴展到京內85家部委行業用戶以及京外31個省、自治區、直轄市和新疆建設兵團;
互聯網:所有互聯網連接的用戶都可通過互聯網方便快捷地獲得數據。
擴容升級,讓遙感衛星數據更好地“落地”
然而隨著時間的推移,遙感衛星存儲的數據越來越多,該單位用戶的需求也越來越多元化,原有的資源和性能已經無法滿足業務增長的需要,分發系統的擴容已經迫在眉睫。為了使遙感衛星數據能夠高效、便捷、穩定的為廣大互聯網用戶和其他企業用戶提供更好的服務,2019年,該單位聯合九州雲對分發服務系統雲服務進行了升級改造,具體包括分發服務分系統虛擬化平臺、Hadoop分佈式計算集群和在線數據分佈式雲存儲系統。
九州雲對上述需求進行了綜合考慮後,決定採用軟件定義數據中心技術,充分利用該單位原有的硬件計算、存儲和網絡設備進行分別擴展,保證靈活、高效的同時,又不被存儲和網絡廠商鎖定。
在硬件的利舊上,保留原有分發系統、內網、外網以及安全等設備,原有設備連接到華三的千兆核心交換上,九州雲虛擬化平臺,包括服務器和集中存儲連接到四個萬兆交換機上。華三核心交換機和新的萬兆交換機通過萬兆線路連接。
這樣一來,既保留了原有的功能,又保障了新增功能的網絡帶寬。同時多線路冗餘也為系統提供了更高級別的系統高可用性,九州雲從底層網絡架構到上層應用都做了相應的規劃,全面保障業務的持久性。
在網絡規劃中,九州雲充分利用千兆/萬兆/4萬兆的通信速率,提供儘可能低的收斂比,保障流暢的虛機間通信和服務訪問。連接示意圖如下:
在升級擴展過程中,為保障業務的連續性,該單位使用九州雲Animbus 雲平臺統一納管新舊業務,建立統一的主機、集群、虛擬機、存儲、網路和數據監控管理平臺。同時傳統業務和數據也將轉移至新集群,完成全面的業務整合升級。此外,九州雲還利用 Animbus Ironic組件,將裸機資源也一併進行管理,結合VMware納管功能,建設統一的綜合雲平臺,方便客戶在一個平臺上管控多種資源。
在大數據分析業務方面,九州雲使用了Sahara組件,Sahara旨在幫助客戶能夠在Openstack平臺上創建和管理Hadoop以及其他計算框架集群,實現類似AWS的EMR服務。該單位只需要提供簡單的參數,如版本信息、集群拓撲、節點硬件信息等,利用Sahara服務能夠在數分鐘時間內快速地部署Hadoop、Spark、Storm集群。
助力客戶服務全球
此番,九州雲聯合該單位共同突破了多項技術難關,實現了多項技術管理創新。升級擴容完成之後,該單位的私有云平臺支持一鍵創建Hadoop分佈式計算集群,將Hadoop部署在虛擬化環境中,實現了可靠的和性能優化的虛擬化Hadoop集群。在Hadoop集群基礎之上,能開發基於Spack的用戶查詢條件統計分析功能,從而統計出用戶查詢位置信息的頻度數據和每天查詢訂購的峰值信息。
在分發系統中,由於對象存儲是最為關鍵的一部分,九州雲對整個雲存儲系統架構做了特別規劃:系統採用雙存儲策略,使用9臺服務器和一套ECM Isilon存儲搭建了一個Ceph分佈式存儲集群,配置存儲策略使EMC Isilon和基於服務器的分佈式存儲方案兩者共存於同一個存儲集群之中,各節點通過2個H3C交換機,2個Mellonix萬兆交換機相連,交換機系統內部互聯。
存儲系統採用完全對稱、面向資源的分佈式系統架構設計無中心節點,所有部分都可擴展,避免了因單點失效而擴散並影響整個系統運轉。通信方式採用非阻塞式I/O模式,提高了系統吞吐和響應能力,以滿足實際使用中的性能問題。雲存儲提供了標準API、認證服務、賬戶服務、對象服務和審計服務,全面覆蓋了整個對象存儲的使用、管理和監控。
九州雲通過對該單位已有硬件資源進行體系結構設計、硬件資源分配和網絡設計,保證了其雲存儲環境正常運行的同時,完成了容量超400T的在線數據分佈式雲存儲系統的擴容。對內,給該單位提供了對象存儲的標準API操作接口;對外,該單位的用戶可以通過分發服務系統下載近期產品數據。
一直以來,該單位都積極貫徹落實國家關於陸地觀測衛星發展的戰略部署,該單位的主任曾表示,農、林、水、土、城、環、災等各應用行業都離不開衛星數據的支持。接下來,在該單位聯合九州雲打造的私有云平臺基礎上,前者將為全國用戶提供三千餘萬衛星數據產品,廣泛應用於我國農業、林業、水利、國土資源、城市規劃、環境保護、災害監測和國防建設等眾多領域,創造出更多的經濟效益和社會價值。
如今,我國的遙感服務早已走出國門,成為“全球民用陸地觀測衛星在軌數量最多的國家級遙感衛星數據中心”是該單位的發展目標。未來,該單位將繼續擴大國際層面的合作,為其他有需要的國家提供遙感數據服務。
