魯谷機房參觀

從圓明園花園別墅打的士到魯谷機房23分鐘,機房很好找,雖然第一次來,招牌上寫的也不是機房而是創意中心,但是有點經驗的人一眼就能知道這裡面不是數據中心還能是啥。

鲁谷机房参观

到達魯谷機房門口,魯谷機房是中國聯通北京分公司按照TIER4標準建設,投資十億元,機房佔地30000平米,目前分9個模塊,每個模塊374個機櫃,機房總容量3000機架,製冷採取水冷製冷方式,每機櫃配電13A。2012年剛剛完工,機房處於北京地區超新超豪華。

北京寸土寸金的地方,想騰出一塊地方建機房還真不容易,北京大的機房都是某某廠的前身,最深刻的莫過於鵬博士在酒仙橋建的亞洲最大的單體機房,6000個機櫃,總裝量80000臺服務器,前身是松下彩管廠。

鲁谷机房参观

魯谷機房的前身,北京顯像管總廠

一進門發現很多穿藍色小褂子的年輕男女,莫非這裡還在產顯像管?經詢問後得知,原來聯通把整個10010北京的呼叫中心都給整到這裡來了,看到的藍褂子都是KFMM們。。。 映入眼簾的先是這9個大傢伙。機房配備的柴油發電機組,當電力中斷時使用,魯谷的電力供應SLA為99.99%。再後面應該是機房專用的變電站,電源分三路從發電廠輸送到變電站。

鲁谷机房参观

後備柴油發電機組:9臺1300KVA柴油發電機組陣列備份,總容量11700KVA,在三路市電同時意外斷開30秒之內自動切換。

鲁谷机房参观

運氣非常好,趕上了柴油發電組的演練,由於怕長期不使用到真使用的時候起不起來,所以每個月的第二個週五會進行一次演練

聯通魯谷機房

機房記不清楚是幾號樓了,一共4層,全部是機房,在大廳登記,看看之前登記的人,五個新浪的,兩個搜狐的,三個搜狗的,其他的都沒仔細看。之前在新浪是沒聽過魯谷機房的,詢問後得知新浪在這裡拿了一整個模塊,374個機櫃,20Gbps的聯通帶寬,但是使用率很低。 一樓大廳地上堆了目測至少15堆機器,一堆大概有10臺左右,全部是Dell的C2100,不知是哪個公司這麼大規模的上機器,不過C2100好像現在都是二手機了。電梯很大很霸氣,不過是國產品牌西子奧迪斯,載重1.x噸,具體給忘了。 三樓是個走廊,跟賓館走廊一樣的佈局,兩邊都是房間,有的房間是機房,有的房間是值班室,互聯通的值班室是其中的一件。

鲁谷机房参观

到達互聯通的值班室,每天至少有三個哥們值班。

聯通魯谷機房

接我進來的那個哥們凶神惡煞的,一直狠狠的抽著煙,見面了直接衝我說了一句,“胥昕是吧?”然後一路上沒有任何交流,這也是為啥一路上很多東西只有文字描述沒敢拍照片的原因,帶我到值班室之後讓我自己等著。值班室隔成了兩半,一半是一個茶几兩個沙發對著,應該是客戶來上架設備的等待區,然後還堆著各種待上架的設備。另一半有十幾個工位,大家電腦上都是各個大客戶設備和拓撲的監控

鲁谷机房参观

堆的都是客戶寄過來的設備等待上線,白板上是大家開會的結果,要做的工作計劃和內容,另一邊就是工位了

鲁谷机房参观

地上各種光纖和網線還有測線儀器

剛來的時候三個哥們坐沙發上拿著筆記本嘰嘰喳喳的,後來仨人走了之後留下一臺筆記本在沙發上,我一個人在這裡閒坐,細看了堆在地上的設備。

鲁谷机房参观

Dell PowerEdge R720,雙路E5-2650 v2,內存192G,8塊600G的SAS,莫非也是跑虛擬化業務?

聯通魯谷機房

鲁谷机房参观

這超豪華配置是“世紀禾光”從光環新網的東環機房遷移過來的。光環新網是北京的大型獨立IDC,有全國IDC和ISP資質,今年應該會國內創業板上市,1999年起家,2000就拿到了ISP資質,2002年開始建自有機房東環機房,2007年才建成,然後靠東環拿到了全國ISP資質。詢問後得知,魯谷機房到東環機房鋪有專線

筆記本上亮閃閃的Excel,當我瞎呢,不是引誘我去偷看麼。。。

鲁谷机房参观

偷拍某工程師的筆記本,應該是91的哥們過來上線,筆記本扔這裡可太疏忽大意了啊,離開不鎖屏,大忌!可以看到一個傳統的互聯網公司的傳統設備明細管理方法,沒有CMDB的公司就是慘啊。R420和R720是主流,看來91的遊戲業務分佈在魯谷、世紀互聯M6、中電華通、世紀互聯B2B,還有AWS?

等了十分鐘熟人終於來了,直奔機房,先看網絡設備,瞭解基本情況。

鲁谷机房参观

整個模塊的核心網絡設備,由4臺Brocade TurboIron 24X組成,一共96個10Gbps端口。

鲁谷机房参观

相鄰機櫃是互聯通的管理機器

鲁谷机房参观

Brocade TurboIron 24X的肉身特寫

鲁谷机房参观

又是非常lucky的事情,正好趕上容纖,互聯通在魯谷有兩個模塊,第一個模塊374個機櫃已經全部用完,目前正在將第二個模塊與第一個模塊打通

接下來可都是某cloud的設備了,這次就是奔著他來的,先看服務器情況

鲁谷机房参观

某cloud在這裡一共三個機櫃,這是最左邊的,右邊兩個機櫃都是。從正面看有兩種機器,一種是R720,一種是R420。R420只有3臺,剩下的20多臺均為R720,一共有33臺機器。矮油,最左下角的C6100亂入了喔!

鲁谷机房参观

R720的特寫,看得出來是滿盤狀態的,每臺機器16塊SAS插滿,最上面露出個大屁股的是某cloud的TOR,三個機櫃只有兩個機櫃有TOR

鲁谷机房参观

背面得到了更多信息,其實是有三種機器,這是第一種:一個萬兆+一個千兆的R720。冗電1100W,看網卡布局應該是x520+i350的方案,注意iDRAC上居然沒插線。機櫃內插座排提供帶卡緊裝置的20位歐標插座,其最大承載電流為25A。

鲁谷机房参观

這個機櫃可以看到另兩種機型,一種是兩個萬兆+一個千兆的R720,一種是兩個千兆的R420。

鲁谷机房参观

某cloud一共只有三臺R420,三臺均是8塊SAS插滿。

服務器情況瞭解完畢,來看看網絡情況。其實先讓我震驚的是某cloud的高富帥形象,TOR直接用了核心系列交換機,其次是全光網。然後就是頗令我震驚的走線規整,後來才知道原來客戶只需要提部署需求,走線都是互聯通免費處理,贊一個!

鲁谷机房参观

先看型號,華為的Quidway S9303,屬於核心交換機,4U。

鲁谷机房参观

第一臺TOR,空閒一個模塊,用了4個模塊,兩個模塊各32個10Gbps端口,剩下兩個好像是管理模塊。電源是冗電。

鲁谷机房参观

第二個TOR,同樣四個模塊,空閒一個。兩個管理、兩個冗電不變。第一個模塊是24個千兆口,第二個模塊是12個萬兆口。

鲁谷机房参观

華為Quidway S9303的大屁股。

鲁谷机房参观

突然想到三十多臺機器使用一個24口的千兆交換,而且沒插滿,不太對啊?仔細找尋之後又發現一臺夾在服務器中的華為24口千兆交換,1U。

機房的配電系統的敷設方式為通過機櫃上方的開放式橋架走線,每機櫃的電纜線徑不小於4mm。機房的市電保障為30000KVA三路市電,高壓供電來自兩個不同開閉站的純雙路系統,每機櫃最高保證3.5KVA電力供應,但每個機櫃實際限電13A,左右兩側各6.5A。

鲁谷机房参观

圖中上方黃色橋架為機房的配電敷設,可以看到紅色的火線,從電流表看出,某cloud基本是滿載運行,電流表下方是機櫃配電,火線零線地線清晰可見。

回到值班室,參觀了一下互聯通的監控系統,可以對每個大客戶的機櫃和網絡信息進行監控,同時偷調出某cloud的網絡監控,發現業務量還是非常大的。2013年10月上線,一上線當天就有50Mbps的業務,可見銷售渠道在上線的時候就已經把客戶搞定了的。某cloud一共買了300Mbps的帶寬,峰值220Mbps,平均120Mbps。

鲁谷机房参观

分別是周、月、年的監控數據,業務模型非常奇怪,in和out的帶寬基本相等。排除了遊戲、電商的可能。

鲁谷机房参观

分別為日、周、月的監控數據,從日監控數據來看,非常奇特,in為典型的在線業務模型。從下午2點之後開始業務增長,晚上下班吃飯時間回落之後一直到晚上9-10點迎來全天高峰便開始回落,凌晨4點達到全天最低谷,6點之後開始恢復業務。最奇葩的是這是in的流量,而out的流量全天保持持平,百思不得其解。

這個節點並不是聯通的骨幹節點,其定位應該是輻射北京西區,但是因為是新建機房,所以相當豪華。在整個模塊的374個機櫃中,京東佔據了大概50個機櫃,樂視佔據了大概70個機櫃,其他的我沒有細看,多為遊戲公司。 而從cloud的服務器情況看來,採用的應該是non-tier的佈局,計算和存儲一體化。雙萬兆的可能為計算+網絡節點。R420應該是官網或者帶外管理機器。從電流和帶寬的情況來看,某cloud的業務已經是相當不錯了,CPU基本滿載,網絡模型奇特,而且上線就有很大的業務量。

最新弱電資料更新—弱電報價之451定額(4月21日)


分享到:


相關文章: