“中國天眼”FAST的觀測數據該如何處理?

沒問題46938

國家重大科技基礎設施 500米口徑球面射電望遠鏡(FAST),位於貴州省黔南布依族自治州州平塘縣克度鎮金科村的“大窩凼”窪地

中國科學院國家天文臺研究員、信息與計算中心主任崔辰州博導向我們介紹了在天文觀測中遇到的數據挑戰:

被譽為“中國天眼”的FAST是世界最大單口徑、最靈敏的射電望遠鏡。理論上說,FAST能接收到137億光年以外的電磁信號,這個距離接近於宇宙的邊緣。FAST這將是一個100億光年的數字宇宙。

在FAST早期科技的時候,將會採用漂移掃描的觀測模式,這種觀測模式會採用19波束的接收機,它的帶寬是400兆赫茲,通過1G的頻率進行採料,原始數據的產生率是38個GB每秒,壓縮後會小大概是原來的1/5到1/6,也就是6GB每秒。進入正式科學觀測後,每天將產生50TB(1TB=1000GB)的數據。這樣計算下來,每年會有數百PB(1PB=1000TB)的數據資料產生。國內除了FAST,我們還有像郭守敬望遠鏡、悟空天眼衛星,以及在南極的天文臺等等很多的項目。這些國內外的項目,其實帶給我們的就是大數據。這些數據是天文學家做科學研究、探索宇宙奧秘的精神食糧。

現在一塊3.5英寸的存儲硬盤容量在8-12TB之間,以10TB來計算,數百PB的數據量,就至少需要數萬塊硬盤來進行支持。可以說,“天文數字”一詞直觀體現了天文學面臨的首要挑戰:海量數據存儲和超大規模計算。根據預測,到2025年,天文觀測相關的數據採集量將達到每年250億TB。在一般的數據中心中,即便是將這些數據存儲下來,可能都是一件無能為力的事情。更何況還需要對這些海量的天文數據進行分析處理,從中挖掘出對我們有用的天文信息。

用雲存儲 天文數據

雲計算可以通過統一計算的方式提供出強大分析計算能力,還可以利用分佈式存儲提供海量數據的存儲。這些天文數字的天文數據,是不是也可以通過雲存儲技術來進行存儲呢?可是在國內又哪家雲計算廠商可以提供如此巨大規模的雲計算系統呢?

阿里雲直面了這個挑戰。阿里雲自主研發的飛天超大規模通用計算操作系統,能夠將百萬級的服務器連成一臺超級計算機,提供強大的計算能力。2016年10月雲棲大會·杭州峰會上,中科院國家天文臺與阿里雲宣佈結為戰略合作伙伴,雙方將共同開展跨領域的前沿科學研究和應用合作。成立“國家天文臺-阿里雲天文大數據聯合研究中心”;共同完成中國虛擬天文臺上雲項目,打造全生命週期的天文大數據管理與開放共享平臺;開發雲上天文應用軟件與服務;推進數據驅動的天文科普教育,通過互聯網與大眾共享數字宇宙;針對光學天文、射電天文、數值模擬和數據挖掘等領域的大數據技術與應用開展深度合作等。雙方將以中國虛擬天文臺為抓手,逐步實現國家天文臺科技資源“上雲”。

阿里雲總裁胡曉明表示:“中國射電望遠鏡的能力,加上中國的計算能力,將通過互聯網分享給全世界的天文科研工作者及愛好者。這正是我們所追求的普惠科技和無法計算的價值。

在阿里雲國家天文臺的合作中,中國天文臺主節點已成功上雲,涉及10億個天體的數據通過雲端的虛擬天文臺向全球開放,包括LAMOST郭守敬望遠鏡。未來“中國天眼”FAST數據也將傳輸到阿里雲上。上雲後,虛擬天文臺生成數據產品的週期將由原來的180天縮短到20天;數據的處理效率提升了20多倍(由一週縮減為8小時)。

天池助力 探索宇宙

天文數據不只需要在雲上進行存儲,同時還需要對這些數據進行分析,從而獲得對宇宙的新發現。這就需要藉助非常精準的大數據分析算法來對這些海量的天文數據進行深度的挖掘。然而對天文數據的分析,無論在中國還是在全球,都可以算得上是一個創舉,也都是處於摸索之中。如何為天文數據找到理想的數據分析算法,也是一個全新的天文科學探索課題。

天池大數據競賽是阿里云為深度挖掘大數據分析潛力而推出的一項競賽活動,讓參賽選手用算法解決社會或業務問題。在2018年1月19日,在國家天文臺-阿里雲天文大數據聯合研究中心共同宣佈啟動“天文數據挖掘”天池大賽,面向公眾開放天文科學探索課題,為選手提供雲計算、人工智能技術,分析望遠鏡收集的真實天文數據,大賽吸引了近千人報名。

我們在這裡也希望,通過這項賽事,可以為宇宙的探索尋找到適用的算法,讓“手可摘星辰”的夢想可以早日實現。

來自科技行者團隊 老董


分享到:


相關文章: