數字中國萬里行 探訪騰訊北方數據中心 馬化騰有多在乎數據安全

騰訊到底有沒有夢想?可能不會有個統一答案,但是騰訊肯定是一家產品驅動的互聯網公司。騰訊公司董事會主席兼首席執行官馬化騰曾表示,“中國的互聯網很多是靠應用來驅動的,而不是靠技術”,而要承載如此之多的業務種類,正是數據中心這個大部分人都不會注意到的基礎設施支撐著現代社會。

今年騰訊建設貴安七星數據中心的消息刷屏而過,貴安七星數據中心總佔地面積約為770畝,隧洞面積超過3萬平方米,一期項目建築面積就達到了90618.57平方米,馬化騰此前提到,“貴安七星綠色數據中心是中國乃至世界最安全的大數據中心,未來將用於存儲騰訊最核心的大數據“。

騰訊現今最大數據中心

在貴安數據中心的承載的業務量增長起來之前,雷鋒網跟隨數字中國萬里行團隊本次探訪的騰訊天津數據中心仍是目前騰訊業務承載量最大的數據中心。就在2018年5月,騰訊天津數據中心服務器數量突破10萬臺,成為國內第一個單園區服務器數量突破10萬的數據中心。

騰訊天津數據中心投產於2010年11月,是騰訊第一個全自建超大規模數據中心,也是目前中國規模最大的已建成數據中心,騰訊天津數據中心共四棟大樓,總建築面積約92777平方米,其中2號樓為辦公樓,另外三棟樓均為機房樓,建設時間和採用的技術均有差異。

數字中國萬里行 探訪騰訊北方數據中心 馬化騰有多在乎數據安全

騰訊天津數據中心實拍

1號樓投產於2010年,建築面積約20446平方米,設計機架數1300個,設計總用電量18MW,單機架功耗8KW;

3號樓投產於2014年,建築面積約38971平方米,設計機架數2300個,設計總用電量36MW,單機架功耗6.5KW;

4號樓投產於2017年,建築面積約22516平方米,設計機架數1200個,設計總用電量18MW,單機架功耗6.5KW。

騰訊前三代數據中心經歷了由廠房改建(傳統方式)→自建園區(高壓直流+free cooling)→模塊化數據中心(採用MDC)的變化,2010年投產的1號樓是騰訊的第二代數據中心,實際負載在四年前已達9MW。2014年投產的3號樓屬於騰訊的第三代數據中心。

單說10萬臺服務器服務器可能不太直觀,我們以“數據存儲”或“數據備份”來看,考慮到騰訊天津數據中心服役時間比較長,服務器新舊不一,假定硬盤的平均容量為4TB,每臺2U服務器12個硬盤計算,可提供總容量480萬TB,或者4800PB,或者4.8EB的數據。

再以該園區2號辦公樓運營著的騰訊視頻業務舉例,倘若一部2個小時的藍光高清電影按30GB來計算,相當於1.6億部電影,要看3.2億個小時,一個人36530年才能看完,這還只是一個數據中心的數據存儲量。

如果把這些硬盤都換成12TB的希捷Exos X12氦氣密封企業級硬盤,這個總存儲容量會達到上面所說的三倍,功耗還可以下降10%-20%,甚至更多。如果折算成單位容量的功耗,那就可以低至三分之一以下。

作為騰訊如今最大的數據中心,如此之大的數據保有量,保證物理安全十分重要,為此,騰訊設立了五個防護圈,分別是紅外周界、園區出入控制、大樓出入控制、樓內門禁控制以及生物識別控制,保護騰訊數據中心的數據。

MDC微模塊技術

從一號樓和三號樓數據中心的平面佈局圖可以看出,三號樓的功能區域分類明顯比一號樓少,因為三號樓使用了MDC技術,在設計最初就把空調間、UPS間和電池間全都砍掉,相應的功能分佈到MDC中,更為靈活、高效。

何謂MDC?據騰訊官方資料,模塊化數據中心(Modular Data Center)是以微模塊(Micro Module)為獨立單位進行工廠預製、快速部署的數據中心,其中可包含多個不同功能、功率的微模塊(Micro Module)配合使用,滿足業務需求。

騰訊定製的TMDC=Frame&機櫃(框架及機櫃)+RPP(電源頭櫃)+HVDC(高壓直流系統)+Inrow(精密空調),佔地不過15平米的微模塊卻高度集成化,減少現場施工環節。

騰訊天津數據中心經理慄權告訴雷鋒網,傳統數據中心存在不少弊端,比如節能系統依靠建築設計,很難更改;整體交付週期冗長(最快6-9個月),機架資源的儲備度往往不能跟上業務增長的速度;施工單位眾多,施工質量難以控制;由於一次性完成設計,後續較難適應因服務器側的快速變化帶來的變更需求,靈活性差;土建和IT建設緊耦合。拿地後需要立即啟動土建設計和IT設計,兩部分設計往往進度不匹配;UPS系統等存在事故隱患,也降低了電力轉換效率。

採用TMDC技術的數據中心在很大程度上就能解決以上問題:

節能方面:TMDC顆粒度相對較小,便於綜合多種節能措施,從而很好起到節能效果;

快速交付:微模塊最快4周交付,快速的IT部署能力使低成本方式儲備大量資源成為可能;

質量可控:通過在工廠預製,大幅度減少工程建設環節,減少安全事故風險;

生命週期:以微模塊為單位,可靈活調整功耗、容量等配置;服務器生命週期結束後,也可以微模塊為單位整體退役;

土建和IT建設分離。第一階段只做土建部分,按簡單廠房報建,預留標準接口給IT部分;

初期投資土建(不到20%)小,IT部分按需分期投入,分段驗收;

高壓直流徹底取代UPS,確保安全且效率高。

數字中國萬里行 探訪騰訊北方數據中心 馬化騰有多在乎數據安全

騰訊天津數據中心實拍

微模塊技術最大的優勢還在於節能,TMDC同時採用了通道封閉(5%-10%)、行間製冷(>4%)、HVDC+市電直供(8%)以及配電架構簡化技術(4%),括號內數字即為該技術可節能比例。傳統數據中心封閉冷通道或者熱通道以提升效率,騰訊採用TMDC實現全通道封閉形成自循環,行間製冷可縮短內部送風距離,HVDC+市電直供減少了兩次電力轉換,效率更高,配電架構簡化可減少前端線損1%,配電部分能耗已無需配套製冷,相應制冷能耗節約3%。

數字中國萬里行 探訪騰訊北方數據中心 馬化騰有多在乎數據安全

配電架構簡化示例

慄權表示,若一個傳統數據中心,原來PUE(PowerUsageEffectiveness,電源使用效率)=2.0,合理使用MDC後技術綜合節能約24%,理論PUE可以降低至約1.5。

10萬臺服務器供電和散熱是很大的一筆開銷,這就要求各廠商們都在追求更低的PUE。以一臺配備2個英特爾至強金牌5118處理器(至強可擴展處理器家族在中國企業級市場上銷量最好的一款)的雙路服務器作為參考模型,滿載功耗約400瓦,那麼,10萬臺服務器一年的電費就是3.5億度

如果PUE=1.5,每年電費支出就是5.25億度;如果PUE降到1.2,每年就可以節約超過1億度電。

慄權展示出了騰訊天津數據中心1號樓和3號樓的實際PUE數據對比,可以明顯的看出,一年週期內採用了MDC技術的數據中心節能效果明顯優於上一代,3號樓冬天關閉冷機是PUE低至1.2

數字中國萬里行 探訪騰訊北方數據中心 馬化騰有多在乎數據安全

1號樓和3號樓實際PUE對比

騰訊雲的“老本”

在2015年騰訊雲召開了“騰訊雲2015年渠道夥伴大會”,會議地點正是騰訊天津數據中心,此舉也被業界理解為秀肌肉的表現,畢竟一家公有云廠商如果連自建數據中心都沒有,說話氣勢都要比其他雲廠商弱一截。

數字中國萬里行 探訪騰訊北方數據中心 馬化騰有多在乎數據安全

騰訊天津數據中心實拍

騰訊在數據中心領域起步比較早,早在2006年就在深圳租了一棟樓開始嘗試數據中心的建設和創新,2007年便開始了第一個20萬規模數據中心的設計與建設,也就是現在天津數據中心的原型。2014年開始騰訊在深汕合作區和上海青浦也同時在建兩個10萬量級的數據中心。天津數據中心為騰訊獨立建設與運營,深汕和青浦數據中心則是和運營商合作建設的大規模數據中心。

據國際行業研究&諮詢機構Forrester發佈的《2018年中國全棧公有云開發平臺Wave報告》,騰訊雲憑藉優秀的產品服務能力、前瞻性戰略視野,突出的市場表現,以3.76分的綜合評分位列中國廠商第二名;此外IDC數據顯示,騰訊雲在2017年中國公有云IaaS廠商中穩居第二,市場份額超過10%。

騰訊雲的市場表現離不開全球範圍內數據中心的支撐,騰訊雲在全球 25 個地理區域內運營著 48 個可用區,地理區域擴張是騰訊雲全球化佈局的首要任務,今年騰訊雲還計劃陸續上線多個區域和可用區。

如果騰訊天津數據中心的10萬臺服務器全部用於騰訊雲業務,考慮到騰訊雲已經在至強可擴展處理器這一代開始向英特爾定製規格較高的至強金牌61系列處理器,用於雲計算的服務器存儲、網絡等配置又普遍較高,一臺服務器的功耗可以達到600瓦,前述所列的支出還要增加一半。

在動輒上億的開銷下,哪怕“只是”1%的效率改善也意味著上百萬的成本節省,這也是騰訊仍在深化數據中心自研道路的緣由所在。

貴安七星數據中心將採用T-block技術,T-block是由騰訊歷時兩年自主研發的第四代數據中心技術,外觀是形似集裝箱體的“方倉”,由辦公箱、供電模塊箱、兩個IT模塊箱、製冷模塊箱A和製冷模塊箱B六大模塊組成。而通過這些方倉的標準化對外接口,可以實現便捷快速的大規模拼裝對接。採用“搭積木”方式,全數據中心建設實現模塊化配置及快速拼裝,貴安七星數據中心施工週期還要更短。

與傳統集裝箱數據中心不同的是,T-block可以採用集裝箱並櫃或是鋼架結構拼接等多個方式實現,拓寬了T-block的應用場景。2016年4月26日工信部電信研究院對騰訊T-block進行了24小時不間斷帶載測試,測得日電度PUE=1.0955,當然實際PUE存在偏差。

馬化騰在各種公開場合曾經不止一次的談及騰訊的數據中心和雲計算,其最被廣泛傳播的話是在2010年的深圳IT峰會上,馬化騰表示雲計算要幾百年後、一千年後才有可能到達阿凡達那種現象,這時候做雲計算還顯得過早。說歸說,做歸做,騰訊雲的快速轉變讓業界柞措手不及,雲計算業務在馬化騰的支持下站在騰訊集團中央,要錢有錢要人有人,五到十年內投入100億,這還不算前期投資。

馬化騰兩次為騰訊天津數據中心站臺,騰訊全國各地數據中心落地儀式他也多次出席,騰訊其實早已有一個關於數據中心的“夢想”。

(本文作者為雷鋒網張帥)


分享到:


相關文章: