谷歌作為全球最大的互聯網公司之一，其數據中心以領先的建設技術、穩定的運維能力和可持續發展的核心價值觀在數據中心行業廣受好評。而谷歌數據中心是如何獲得如今的“江湖地位”，又是怎樣成為數據中心行業內絕頂高手的呢？今天就讓我們一起來探秘谷歌數據中心。
作為現代社會重要的基礎設施，數據中心的客戶需求始終是其設計、建設和運營的立足點。一般情況下，客戶核心的需求是：
- 高性能與規模彈性
- 合適的選址
- 運行可靠性
- 安全性
- 可持續性
正是對這些需求的有效回應和極致追求，造就了谷歌數據中心的江湖地位。接下來讓我們逐一拆解谷歌回應這些需求的招式，看谷歌如何笑傲群雄！
1 、高性能與高彈性的數據中心
將變電站、服務器、機架、製冷系統、運營模式等產品化、定製化和規範化，使谷歌能有效控制數據中心的總成本。然而控制成本不代表要犧牲性能，在高性能運算領域，谷歌數據中心也有自己的獨門秘籍：
- 定製服務器，減少服務器內部的不必要組件，只留下高性能的計算部件。
- 在服務器中使用特製的Titan芯片，減少系統漏洞。
- 通過獨特的Borg系統，實現了資源的動態分佈。
- 重視靈活性與適應性，保證彈性擴展潛力並支持OCP的機架標準。
- 運維團隊駐紮數據中心現場，保障數據中心內軟、硬件設施的部署、維護、升級和維修的快速可靠。
谷歌的現場硬件運維
- 製冷系統不斷創新，大約每18個月就對製冷系統進行一次創新。
- 採取因地制宜的冷卻措施。根據數據中心所在地的資源優勢進行冷卻方式的優化，如在芬蘭使用海水，在美國東南部使用雨水和循環水，在比利時使用工業運河水來滿足數據中心的散熱需求。
谷歌創新地使用運河水、雨水製冷
2、合適的選址
在保證其數據中心高性能運行的同時，谷歌也在如何選址上下足了功夫。目前，谷歌在四大洲擁有和運營著16個單個規模數百英畝左右的數據中心園區。
在選址時，谷歌會在用戶需求和建議的基礎上，按照自身多年的經驗積累，從以下幾個維度判斷用地是否合適：
- 與用戶之間的鏈接延遲
- 長期的累計總成本
- 園區的可擴展性，考慮谷歌數據中心未來十年內的擴展需求
- 容災能力
- 針對地點的特異性設計的可能性
- 可再生能源資源
當然，世界上從來沒有一塊完美的地，所以谷歌數據中心的最終選址往往是綜合上述因素權衡出的最佳折衷方案。
谷歌數據中心園區分佈
以下圖中谷歌在比利時的數據中心的選址為例，巨大的用地規模，為數據中心後期的擴展提供了空間。同時，恰當的地理位置保證了谷歌能很好的對接到用戶、人才、高質量的光纖和可再生能源。
比利時聖吉斯蘭的谷歌數據中心
而谷歌在愛荷華州的數據中心則是谷歌在選址時重視園區可擴展性的一個突出案例，該園區現階段建設佔地300畝，相當於235個美國橄欖球場，但這僅佔該園區設計開發空間的三分之一。
美國愛荷華州谷歌數據中心
3、運行的可靠性
谷歌數據中心的停機時間是所有主流雲服務供應商裡最短的，這主要歸功於谷歌獨特的設計與運營數據中心的方法以及其可靠的監控系統。
一方面，為了提高數據中心運行的可靠性，谷歌數據中心在設計階段就很重視容錯能力與在線維護能力。同時，在設計數據中心的初期，谷歌會為未來技術升級留有一定的空間，即使早期建設的數據中心也能適應當前為機器學習和AI場景下的TPU系統、芯片級水冷技術等新技術。
另一方面，在運營過程中，谷歌通過事故處理透明化的方法促進員工的學習和進步。而且，谷歌還有一個“不責備錯誤”的機制保證他們可以更好的從錯誤中吸取教訓。因此在谷歌數據中心的事故中，人為因素事故佔比只有15%，遠低於70%的行業平均值，而且谷歌數據中心中的人為因素造成的事故並沒有導致數據中心停機。
數據中心事故原因分析與對比
與此同時，對數據中心內運營狀態的充分監控也是谷歌保證運營可靠性的秘訣之一。他們會實時監控芯片、製冷系統、電力系統和安保系統的各個環節的數據，如服務器的溫度、氣壓和流量、機械製冷系統的流量和壓差等等，從而實時掌握數據中心的運行情況。
谷歌數據中心的數據監控系統
4、數據中心的安全性
安全性是數據中心的另一項硬性指標，谷歌也通過一套複雜的安全系統將數據中心安全性做到了極致。該系統可以歸納為以下幾點：
- 在物理安全層面，採用了層層深入的方式，從外圍開始設置屏障，離數據中心本身越近的設施安全性越高，策略越嚴格。谷歌還利用自己的技術實現了對進入數據中心人員的實時監控。
- 在人員管理層面，只有不到2％的谷歌員工曾經進入過數據中心。
- 在信息安全層面，與物理防護相互呼應，谷歌建立了保護信息安全的專家團隊。這個團隊與物理安全團隊彼此獨立，相互檢查。
- 總體來看，谷歌將數據中心安全措施內置於系統的每個層級中，從數據中心本身、建築物、安全原則、安全設計、一直到服務器本身和內置於服務器中的定製安全芯片，都有相應的安全措施來為客戶保駕護航。
多層的物理安防策略
數據中心信息安全防護與物理防護並駕齊驅
5、數據中心的可持續發展
谷歌是第一家實現零碳足跡的公司。通過長期的技術與運營模式的積累和探索，谷歌在幫助自身和客戶實現可持續發展的事業上交出了出色的答卷。谷歌對可持續發展的努力可歸納為三個方向：
（1） 提高能源效率
谷歌數據中心當前的平均PUE值為1.11左右，耗電量約為傳統企業數據中心的一半。在同樣用電量的情況下，谷歌數據中心現在的計算能力是其五年前的七倍。
谷歌數據中心的高能效與普遍的數據中心對比
谷歌數據中心的PUE曲線
在硬件和架構優化的基礎上，谷歌也在嘗試利用從數據中心獲取的數據進一步提高能效，通過與DeepMind團隊合作，使用AI技術來操作數據中心冷卻系統。這個AI技術能實時查看19到20個數據中心的變量，並取得了將製冷系統的能耗降降低30％的成效（如下圖）。由於AI系統的分析與控制的實時性，加之隨著數據的積累，可以不斷學習，調整策略，其效率相較於人類操控更高，節能潛力也更大。
AI技術控制數據中心運營減少30%製冷系統能耗
（2）使用可再生能源
谷歌是世界最大的可再生能源購買企業。自2007年起，谷歌就開始通過購買高碳補償項目（植樹造林，垃圾場甲烷氣等項目）實現了碳中和的目標，並保持了10餘年。
在2017年，除了連續十年達成碳中和目標之外，谷歌還宣佈他們已經實現了可再生能源與企業用電量的匹配，即購買了足夠的可再生能源，以抵消谷歌包括數據中心在內整個企業全部的能源消耗。谷歌現在擁有超過3.5GW的可再生能源合同，價值超過50億美元。
谷歌的可再生能源發展路線圖
通過倡導清潔能源和支持可再生能源採購項目，谷歌也在推動運營所在地的新能源建設。比如谷歌與中國臺灣地區的第一個購電協議的簽署。谷歌與臺灣電力公司以及政府合作，修改了《臺灣電力法》，使得谷歌可以購買可再生能源並將購買的能源輸送到臺灣電網中。這個項目在一個商業化魚塘內部署了40,000個太陽能電池板 ，最大限度地提高土地利用效率並使當地水產養殖工人從中受益。
谷歌下一步的能源目標是建設無碳能源不間斷直供的數據中心。目前，谷歌開發了一個分析工具，可以每小時分析一次數據中心的能耗，以瞭解其與無碳能源的匹配情況。通常來說數據中心的的無碳能源匹配值（使用的總能源裡無碳能源的佔比）會隨時間變化。以下圖北卡羅來納州數據中心的數據為例，某些時段，無碳的能源匹配量可以達到82％，而在其他時間段，數據中心的無碳能源匹配量則為49％。
谷歌北卡數據中心與無碳能源的匹配情況
為了推動可再生能源的使用，谷歌近期聯合了DeepMind使用機器學習（ML）來提高風力發電的可預測性。他們使用 ML對美國中部的一個700MW的風力發電場進行了優化實驗，通過提前36小時預測風力輸出（如下圖所示），可以提前一天預測出每小時風電場向電網輸送的電量。由於提前明確了向電網供應的電量，這個工具將該風電場的價值（可再生能源的價值）提高了約20％。
使用ML技術預測風電場的發電量
（3）推進循環經濟體系
谷歌可持續發展戰略的第三個要點是建立循環經濟體系，實現零垃圾填埋目標。目前谷歌已經將其建設運營產生的廢物的垃圾填埋場掩埋率降低到了9%。意味著谷歌生態鏈中產生的所有廢物中只有9％（無論是來自建設還是運營中的廢物）需要填埋。而谷歌取得如此優異掩埋率的秘訣可以總結為以下四點：
- 持續維護設備，儘量的延長其使用壽命。
- 重複使用設備，為已經不適用於某一服務的設備找到合適的場景進行二次利用。
- 儘量利用回收組件製造新服務器，谷歌2018年用於機器升級的組件有19％來源於庫存翻新。
- 退役設備轉售，當找不到設備的新用途時，谷歌會擦除所有存儲數據的組件，然後再轉售它們。在2018年，谷歌向二手市場轉售了近350萬個單位，以供其他組織再利用。
谷歌的循環經濟體系
谷歌長期對可持續發展的堅持和投入取得了亮眼的成就，也獲得了業界的認可。谷歌公司常年佔據了CDP獎項榜的前茅。幾年前，還在阿布扎比獲得了Zayed未來能源獎。
谷歌獲得的可持續發展方面的榮譽
後記
在這篇文章中，主要從客戶對數據中心最關注的高性能，合適的選址與規模彈性，運行可靠性，安全性，能源可持續性等方面瞭解了谷歌的做法和理念。
總的來說，我們可以看到谷歌達成目前的成就離不開的是對創新和技術發展的執著追求，對未來長遠的規劃，對實踐的重視和學習，對數據的依賴以及對可持續發展堅定的投入。
希望大家都能從這個分享中找到對自己工作有益的 “谷歌之道”，幫助推進更先進的數據中心技術與標準的發展，建立更有活力的技術社區和更可持續發展的互聯社會。
