“你們還有什麼問題嗎？”
9月初的一個下午，在百度雲計算（陽泉）中心的會議室裡，百度雲計算（陽泉）中心負責人，百度系統部高級經理顧鵬微笑著向“數字中國萬里行”的媒體朋友們投過來關切但充滿自信的目光。
PUE值1.10，你信，還是不信？
三週前，新華三在呼倫貝爾舉行“互聯網夏季論壇”，百度雲一名管理人員在主題演講中對與會者說，公司位於陽泉的數據中心單模組PUE值已經達到了1.1，引著不小的轟動，而筆者當時發佈微信朋友圈後，朋友們也紛紛表示懷疑甚至不信任。
2014年，綠色網格發佈的國際數據中心PUE能效值為1.7，目前國內新建的數據中心大多為1.73，少數實現了1.4～1.5，而百度雲計算(陽泉)中心竟然能達到單模組1.10。
憑什麼？
百度雲計算(陽泉)中心負責人，百度系統部高級經理顧鵬
藉由“數字中國萬里行”這個機會，筆者也抱著嚴重不相信的的態度，走進了這座數據中心。
眼見為實。在全面瞭解之後才發現，包括筆者在內所有人的疑惑，被徹底地打消了。
在當天整整一個上午，顧鵬先是向這支風塵僕僕的團隊對位於陽泉的這座數據中心的基本情況做了介紹，而後又花了將近4個小時陪同大家參觀了數據中心所有模組及配電、製冷等重要場所。
此刻，面對顧鵬探詢的目光，除了專家級的資深媒體同行海峰、大兔，大名鼎鼎的狒哥也保持了半分鐘的沉默。
唯一獲得全國五一勞動獎的數據中心
百度雲計算(陽泉)中心坐落於山西省陽泉市開發區，園區佔地面積360畝，由八個模組樓，一個ECC綜合樓、兩個柴發樓以及總調倉庫、配套的餐飲樓、活動室以及休息區等組成，整體建築面積達到12萬平米，共分四期建設，於2012年啟動，設計裝機容量為12萬臺，其設計標準採用T3+級，2014年9月第一期建成投入運行至今已經1500多天，今年最後一期完成後將全部投入運營，投用後實際裝機容量將達到16萬臺，
成為亞洲規模最大的數據中心之一。
據介紹，陽泉數據中心承載了百度的搜索、地圖、網盤、人工智能、智能雲、自動駕駛技術等業務海量數據的處理，每天處理的數據為數百PB，相當於成千上萬國家圖書館的容量。
2015年，陽泉數據中心獲得了國內首家的運行和設計雙五A認證、數據中心年度的能效獎和中國企業領導力獎；2016年獲得了山西省的五一勞動獎狀；AHU、整機櫃、OCU和市電+UPS/HVDC供電架構入選工信部的先進技術名錄，風電、光伏和汙水回用等綠色節能技術應用，也使百度成為了唯一一家獲得了2017年國際“碳金獎-社會公民獎”的互聯網企業。
2017年，陽泉數據中心獲得了中華總工會“全國五一勞動獎狀”，成為目前國內數據中心唯一獲得過此項大獎的數據中心。
陽泉數據中心2017年PUE值為1.1，意味著園區全部投產以後，數據中心年節約用電量為2.5億度，相當於13萬戶家庭全年用電量的總和。
在六年的建設和運營中，陽泉數據中心積累了400多項國際和國內的專利，如採用HVDC(高壓直流) Offline與鋰電池機櫃，供電效率達到99.5%；OCU、AHU、水冷精密空調等多種空調末端技術並行應用，同時將機房送風溫度提升到27℃，搭配百度高溫服務器，全年自然冷卻時間延長到96%以上；光伏和風力發電相結合，每年實現CO2減排達2.6萬噸，汙水回收利用，年節約用水48萬噸。
陽泉數據中心的創新與實踐
數據中心主要由電氣系統、暖通系統、監控及運維管理系統組成。
在電氣架構方面，傳統的數據中心多是採用雙路UPS的設計方式，其效率可以達到90%。
百度率先於2010年在國內使用了“市電+UPS”這種當時國內最先進的架構，其效率可達到95%，而陽泉數據中心總共採用了四種架構，即“市電+UPS”、“市電+UPS ECO”、“市電+HVDC在線”以及“市電+HVDC離線”的形式，其中“市電+HVDC離線”是世界首例採用這種供電架構，其供電效率由原來的雙路UPS的90%一躍提升到99.5%。
也就是說，按傳統雙路UPS方式，100度電可能有10度電由UPS損耗掉了，但現在陽泉數據中心做到了只有0.5度電被損耗。可以說，“市電+HVDC離線”是做到了極致。
在暖通架構方面，在陽泉數據中心除了採用CRAH(水冷精密空調），還採用了高溫服務器及零功耗新型空調末端，充分利用了天然的冷源，合理化應用機械製冷、預冷和自然冷卻，全年免費冷卻效率達到96%以上，相當於每年用冷機制冷的時間只有兩週約300個小時。
另外，架空地板這種傳統的架構在陽泉數據中心已經被摒棄，取而代之的是無架空地板與側送風相結合的方式，在保證氣流組織最優、冷量高效輸送的同時，與整機櫃服務器協同，日峰值交付服務器能力達1萬臺，交付效率提升20倍。採用百度自研的OCU(頂置冷卻單元)冷卻技術空調末端與預製化模塊技術相結合，冷卻模塊垂直安裝在機架上方，空調末端無風扇、零功耗，利用空氣對流原理，可以抽走“熱通道”的熱空氣的同時，還可以送出冷空氣給“冷通道”；AHU(Air Handle Unit)風牆冷卻技術，通過與高溫耐腐蝕服務器配合，採用全新氣流組織方案，解決了空氣汙染及腐蝕難題；IDEC即間接風側製冷，抽取室內空氣和部分新風以控制出風溫度和風量來維持室內溫度。
AHU(Air Handle Unit)風牆冷卻技術
顧鵬：電氣架構與空調末端的改變，結合高溫服務器和相應的調優政策，就是陽泉數據中心PUE值低至1.1的主要原因。
在監控與運維方面，多數數據中心的運營都具備有一定的自動化能力，但是陽泉數據中心已經在向智能化進行轉變，比如巡檢全部採用無紙化智能巡檢，將相關數據上傳到遠端電腦，專家系統通過對現場運行數據分析來保障系統穩定性將AI技術引入了數據中心後，通過建立數據中心深度學習模型，如冷水機組三種模式的運行，將根據室外天氣的溼度、溫度和負荷，自動完成製冷模式、預冷模式或節約模式的切換，並且根據設備的總體運行時間提示維修或更新，智能預警可能出現的故障，同時根據設備的負載量自動調配，實現負載均衡。
“結合AI的智能化是數據中心後續運營的方向，最終將實現無人值守。”顧鵬說。
陽泉數據中心還有如下重點創新的內容：
一是鋰電池機櫃。作為國內首批內置式的鋰電池服務器在百度陽泉成功上線，進一步優化了供電的架構，在配電系統徹底的模塊化的同時，去除了UPS和鉛酸電池的配置，實現了機電、IT的一體化，供電效率達到了99.5%，節省的機房空間達到25%。
鋰電池機櫃
這也是陽泉數據中心裝機量從12萬臺擴升至16萬臺的根本原因。
二是水冷背板。 無風扇的零功耗模塊化的設計，全面支持天蠍整機櫃服務器，就近冷卻、彈性部署，最直接地接近熱源服務器。
水冷背板機櫃
三是間接蒸發冷卻的模塊化設計方式。除了高度的自動化，交付效率比原先冷水系統提升50%，運維效率提升了60%，節水達到70%。
四是冷板式液體冷卻方式。針對高功率密度能效提升約50%，TCO降低了30%。全球首例採用液冷GPU集群在百度成功上線，化解了遠高於傳統計算方式高能耗的問題，為後續的智能化和AI提供更大的便利和應用無法想象的空間。
冷板式液體冷卻機櫃
綠色節能
節能環保在數據中心，是一個永恆的話題。陽泉數據中心已經將風電、太陽能等各種綠色能源資源的利用實現了最大化。
例如，陽泉數據中心在模組樓頂的剩餘空間安裝了太陽能電池板，光伏發電即發即用，成為國內首個應用光伏發電的數據中心。
“數字中國萬里行”部分隊員參觀模組樓頂剩餘空間安裝的太陽能電池板
2017年，陽泉數據中心利用太陽能及風力發電總共將近2600萬度，佔比全年用電量的16%，預計2018年太陽能及風電能將達到5500萬度，佔比可達到23%以上，成為節能減排的典型示範。
在陽泉數據中心，除了電源，消耗最大的就是水資源。因為機房熱量要靠冷塔蒸發傳遞到室外，蒸發掉大量的水份，加上要清除沉澱到冷塔和管路中水中的鈣鎂離子等各種雜質，每天的耗水達到上千噸。陽泉數據中心對排汙水進行了收集並通過酸鹼中和，稀釋其中的鈣鎂離子，對汙水再回收利用，數據中心全部設施投產以後，每年回收水將達到48萬噸水的量。
據初步統計，陽泉數據中心全年CO2減排2.6萬噸，清潔能源佔全年用電的23%，相當於142萬棵樹一年CO2的吸收量，系統節水率44.6%，數據中心全部設施投產以後，每年回收水將達到48萬噸水的量，相當於4000多戶居民一年的用水量。
在整機櫃方面，陽泉數據中心將近96%服務器採用了百度北極2.0整機櫃服務器，北極2.0採用了共享電源和風扇的架構，供電實現標準化、模塊化、一體化，總成本降低15%左右，值得一提的是自研服務器平均每臺耗電量比普通的服務器下降12%，交付率反而提升了20倍。
機房全景
整機櫃、GPU及AI控制
百度應用GPU等異構計算，引入深度的學習和異構的計算集群，成為百度大腦的動力引擎。陽泉數據中心GPU集群承載了公司幾乎所有AI業務，融入先進設計理念和語音、圖像、搜索、無人車、加速計算等一流技術，具有高性能，高效率、低功耗的特點，保證了AI業務長期穩定，高效運行。
1.1不是最低，這個冬天，還會有更好的消息傳出
一名工作人員告訴我們，人們所知曉的PUE值1.1，那還是2016年的數據。
筆者在ECC控制中心的大屏上看到有一模組的PUE實時值是1.07。這一模組囊括了百度所有最先進的架構，如高壓直流，空調末端使用OCU及水冷背板。而在9月份訪談期間，室外溫度超過27度；在即將到來的11月至來年的3月期間，實時PUE還將會更低！
離開陽泉之前，筆者又發了一條微信：“年均PUE值為1.11，真相大白！佔地12萬平米的百度雲計算(陽泉)中心(最優PUE1.07)。先進的電氣架構，用電效率超過99.5%，定製化的高溫服務器，風電、太陽能（首家採用）等自然能量供應超過整體供電量的23%，模塊化的頂置空調、首家採用鋰電機櫃、將AI引入數據中心……節省機房面積25%，年節電2.5億度、節水48萬噸。真是不看不知道！”
這次，不少朋友紛紛點下了珍貴的“贊”。筆者相信，此文的發佈，還將會贏得更多的認同和點贊！
百度雲計算（陽泉）中心，一場從質疑到相信，再到歎服之旅，無疑為今年“數字中國萬里行”活動畫上了一個圓滿的句號。
*關於“數字中國萬里行”——由E企學院主辦的“2018年數字中國萬里行暨北方區數據中心之旅”，聚焦中國超大規模數據中心，走訪騰訊、阿里巴巴、京東、今日頭條、抖音、華為、中國聯通、中國移動等多家數據中心，將中國互聯網、通信、製造業等多個領域的頂尖數據中心展示出來，讓更多人瞭解互聯網與雲計算高速發展背後的奧秘。
閱讀更多 IT大嘴巴 的文章
