每天有那麼多人在朋友圈發視頻和照片,騰訊的服務器要多大才能全部儲存?這是如何實現的?

伽音gg小九


其實這是一個技術類的問題,作為了一個寫了多年代碼的程序員來嘗試回答這個問題,從微信功能發展的趨勢看,早期在微信還沒有這麼大規模被使用的時候圖片以及視頻幾乎都是一直存儲在騰訊雲服務器上,但隨著數據量的增加騰訊開始在產品策略上做了調整,也就是將只要是超過一段時間之後很多文件或者圖片就失效了,因為十幾億人的個人數據太過龐大,不可能全部給保留下來。

解決個人數據問題,最直接的解決方案就是不停的拓展硬盤空間。即使如騰訊這種巨頭公司也不可能無休止在增加服務器的數量,所以肯定需要在產品策略上做一些優化,最簡單的就是個人數據到了一定的期間失效,雖然很多人覺得體驗不好,但無休止的增加空間始終會達到極限值。關於個人數據的存儲方面在國內主要是雲盤,現在的雲盤主要百度還在堅持,因為這種屬於吃力不討好的事情,因為雲盤需要耗費大量的物理資源,像360雲盤因為始終無法盈利已經取消掉了,微信本身數據的存儲也類似於雲盤的方式,對於服務器是一種極大的挑戰。

數據採用分佈式存儲方式。由於數據量巨大數據會分散保存在就近的服務器,這樣子還能保證數據的安全性,如果數據都放在一個區域如果出現被攻擊就意味著數據被破壞,而且還很難被尋找回來,騰訊早期曾經遭遇過很多黑客的攻擊,分佈式的框架也是在被攻擊中慢慢完善起來的,分佈式有個好處,如果多處的數據被破壞,只要還保留著一個服務器堆,整個系統還能繼續運轉,各個服務器之間通過高效的算法串聯起來,互相依託但又互相獨立。大型的互聯網公司幾乎都採用了這種方式,包括之前的QQ也是這種架構,只要有一個點是安全正常的,就不影響用戶使用。

圖片數據傳輸過程中默認已經是減小了分辨率。很多人覺得圖片經過微信傳輸之後分辨率就變低了,最主要原因是騰訊公司為了節省存儲空間,但可以選擇原圖傳輸,不要小看一個簡單的功能,因為在微信中圖片的傳輸概率非常高,是佔據數據存儲空間中非常重要的一項功能,就這麼簡單的一個操作就能給騰訊公司節省N多的服務器資源。

選擇性的數據存儲。不是所有的數據都要進服務器保存的,有一些公用的數據不會重複保存的,只要MD5校驗數據數值都一樣的情況下,保證數據只保存一份,這樣節省很多存儲空間這點和雲盤數據的保存有一定的相似之處,而且有些數據只是保存在本地,所以在換個手機再去登錄微信只是能看到保留的部分內容,有些數據已經在服務器上沒有保留了,這是屬於典型的選擇性儲存的方式。

未來雲數據發展趨勢

從以後的發展趨勢看,雲計算的重要性越來越高,而且微信本身就需要一個非常的雲系統支撐,除了保證數據的準確性,還要保持數據的安全性不被攻擊,騰訊公司安全攻防能力是在3Q大戰之後全面得到提升的,社交軟件除數據的安全穩定之外,就是數據的不被劫持攻擊的事情了。

未來越來越多的數據都會集中在雲上,但不是一味的數據的堆積需要大總量的數據管理,目前國內在雲計算領域阿里雲算是走在前面,另外的幾個國內巨頭也在積極部署這塊的業務,而且還會切入到智能家居等方面的業務中去,在未來還會起到越來越重要的作用。而且在社交以及更多領域起到的作用越來越大,希望能幫到你。


大學生編程指南


騰訊微信用戶超過9億,每天產生的數據量都是數億tb,馬化騰在一次數博會上透露,騰訊保存著18年用戶的數據,數據量超過1000個pb。

1,分佈式雲存儲




據悉,騰訊是國內服務器最多的互聯網公司,騰訊在全球部署了24個大區、44個集成數據中心、超過1400個CDN節點,2018年,天津數據中心,服務器就超過10萬臺。如此大的規模對日益增長的數據需求起到有力支撐,用戶的數據根據地域分佈在各個節點上,如此龐大的數據,都是通過大數據分佈式存儲,可不是傳統的關係型數據庫。

2,有些數據是不會存儲在服務器上的

通過微信的數據並不是全部上傳但服務器上的,比如:聊天記錄(文字、語音、圖片)等等,因為考慮到用戶的隱私,以及數據存儲問題,這些數據是存儲在用戶本地的,微信卸載刪除,聊天記錄就清空了,這些數據服務器上不保存。


程序員也有夢想


感謝您的閱讀!

我們其實最擔心的是,自己的聊天記錄,騰訊會不會也存儲,微信言辭懇切:為了保護用戶隱私,聊天記錄會保存到用戶本機,服務器不會保存!


然而,對於用戶而言,還是會擔憂自己的聊天記錄被騰訊保留,特別是服務器中。除了聊天記錄之外,那麼朋友圈的視頻,照片到底保存在哪裡呢?如果保存在騰訊雲服務器中,騰訊的雲服務器到底得多大呢?

2013年,騰訊、深圳聯通和中興通訊共同打造了亞洲最大的微模塊數據中心,當時數據中心可以容納25000臺服務器。

而騰訊目前最大的數據中心就是騰訊天津數據中心,截止2018年5月,騰訊天津數據中心服務器數量突破10萬臺。

我們知道目前阿里巴巴,騰訊等等都將數據中心建在了貴州,貴州的自然環境優秀、電力資源雄厚,而這也是馬化騰準備開闢騰訊最大數據中心的序幕。騰訊貴安七星數據中心建成後可容納超過5萬臺服務器,也將成為騰訊公司全球核心數據,提供更大的存儲業務。


服務器多,自然不用擔心空間不夠; 其實,我們知道分佈式數據庫和分佈式存儲是分佈式系統中最難的方式,分佈式存儲,可以將所有的機器的磁盤空間進行整理,分別存儲各個文件,包括朋友圈的內容。

其實,大容量的服務器;以及並沒有大家想象的將所有的內容發送到服務器,有些內容我們手機自己保存;更為重要的一點,微信已經預見到這些問題,如果真的出現服務器不夠用,微信估計在你知道之前,早就解決了。


LeoGo科技


就在前不久騰訊公司宣佈它的用戶已經突破九億人。用戶信息最久都已經保存了近二十年。為什麼不論用戶在何時何地打開軟件都可以找到自己上傳的信息,而且還能非常尋迅速的下載下來。

雲存儲技術也是這幾年新興起的一種快速便捷的網絡存儲技術。就像雲彩一樣,無論人去哪裡,抬頭都能看到空中的雲彩。雲存儲就是實現了這樣的功能,無論在任何地方都可以打開網絡下載上傳,而且速度很快。為了實現這個功能,公司在全球建立了二十四個分區和四十四個數據處理中心和一千多個節點。這一個中心有多大呢?幾乎每個數據中心的規模都要超過十萬臺服務器。而用戶的信息則放在數據節點上,只要用戶在這個地域使用該軟件,就會很快的為用戶提供數據支持。

安全的信息保護功能,現代社會隨著信息的爆炸式增長,人們幾乎都在網絡的覆蓋之下,人們對個人信息的安全日益重視,生怕稍有疏忽就會導致個人隱私洩露。為了免除用戶的後顧之憂保護用戶信息安全,大部分信息都不會上傳到服務器裡。如果用戶選擇清理手機空間,這些信息也會被徹底刪除。除非是主動上傳到個人的空間或者是網盤,否則服務器不會接收存儲你的個人信息。

而且,分佈式存儲也能起到很好的保密作用,除非經過用戶的請求允許,不然是很難拿到用戶的完整數據。


西漫世界


我覺得朋友圈的內容再多也只是文字、圖片和幾十秒的小視頻而已,相比於抖音、youtube、微博等來說,估計還沒有後者這些每天產生的數據容量大。所以,在服務器壓力上,我覺得騰訊完全是可以解決的。像騰訊微雲來說,免費用戶註冊就送10g的空間,對於只存儲小視頻、圖片和幾十字的文字,普通人發一年發朋友圈估計都存不滿。說明,騰訊的儲存空間還很多,能給微信朋友圈的服務器內存非常豐富。而且現在的服務器內存空間又那麼便宜,一臺不夠就兩臺,兩臺不夠就搞服務器機房。

對於像大公司這樣的服務器來說,內存容量都不是gb這樣的來,都是pb、eb往上的單位。一個就算一生髮70年的朋友圈圖片+文字,一天發100mb大小的朋友圈內容(我的世界觀裡不存在這樣的人),一年也就是365*100=36500mb的內容,70年就是70*36500=2555000mb的內容。換算成gb的也就是2496gb的內容,騰訊全部給他保存下來也就是2.5個tb的容量。而現在服務器上百tb的容量很常見嘛,關鍵是現在都是分佈式的服務器,可以隨時不夠就再加。騰訊微雲10塊錢就能買3tb空間,某寶某東上1tb硬盤也就是幾百塊。

現在都是大數據時代裡,大量的數據在挑戰企業的存儲,朋友圈的內容可謂是九牛一毛,不足為道。現在我們說數據大容量,通常可達到PB(1pb=1024tb)級的數據規模,因此,海量數據存儲系統也一定要有相應等級的擴展能力。我知道的現在越來越多企業喜歡Scale-out(橫向擴展存儲)架構的存儲模式。在每個節點除了具有一定的存儲容量之外,內部還具備數據處理能力以及互聯設備,可以實現無縫平滑的擴展,避免存儲孤島,數據再大也不怕,而且數據安全也有保障。沒有哪個企業會把數據都存一個地方、一臺服務器。有了scale-out架構,在購買磁盤時就可以量力而行,一旦存儲空間的需求超出預期,可以添加新的陣列而不會受到任何限制。

所以,朋友圈內容再多也不會是騰訊微信主要擔心的事情。


“emmm……你一天發幾條朋友圈?”


初始值


就在前不久騰訊公司宣佈它的用戶已經突破九億人。用戶信息最久都已經保存了近二十年。為什麼不論用戶在何時何地打開軟件都可以找到自己上傳的信息,而且還能非常尋迅速的下載下來。

雲存儲技術也是這幾年新興起的一種快速便捷的網絡存儲技術。就像雲彩一樣,無論人去哪裡,抬頭都能看到空中的雲彩。雲存儲就是實現了這樣的功能,無論在任何地方都可以打開網絡下載上傳,而且速度很快。為了實現這個功能,公司在全球建立了二十四個分區和四十四個數據處理中心和一千多個節點。這一個中心有多大呢?幾乎每個數據中心的規模都要超過十萬臺服務器。而用戶的信息則放在數據節點上,只要用戶在這個地域使用該軟件,就會很快的為用戶提供數據支持。

安全的信息保護功能,現代社會隨著信息的爆炸式增長,人們幾乎都在網絡的覆蓋之下,人們對個人信息的安全日益重視,生怕稍有疏忽就會導致個人隱私洩露。為了免除用戶的後顧之憂保護用戶信息安全,大部分信息都不會上傳到服務器裡。如果用戶選擇清理手機空間,這些信息也會被徹底刪除。除非是主動上傳到個人的空間或者是網盤,否則服務器不會接收存儲你的個人信息。

而且,分佈式存儲也能起到很好的保密作用,除非經過用戶的請求允許,不然是很難拿到用戶的完整數據。

——本回答為西安鼎昂數字貨幣智能量化全自動炒幣機器人(歷時收益,數據核對,實況直播)公司整理。


鼎昂全自動炒幣機器人


主要歸功於分佈式存儲

你上傳的視頻、文件並不是全部都存儲在同一個服務器裡,也就避免了某個地區突然出現大量用戶上傳信息導致空間不足或者服務器繁忙。

你上傳的視頻,如果沒有刻意去修改md5碼,那麼別人如果上傳了和你相同的視頻,服務器就只需要存儲一份就夠了,這是因為分佈式數據庫中資源是共享互通的,減少了空間佔用。

各大公司的存儲空間確實不是無限大的,一般給你提供的免費空間只有1G以內,所以如果你要上傳大文件,一般各種網盤都需要你升級會員才可以,在你升級會員後,實際上也就是變相的你自己租用了一塊遠端的服務器硬盤。

會不會存在以後存儲數據太大,佔用了物理空間越來越大?沒地方放硬盤了?

當然是有可能的,所以現在硬盤技術在不斷升級改善,並且各種文件數據存儲共享技術也在創新,不過這個擔憂就像人類會不會有一天沒有氧氣一樣。暫時不需要擔心。


Har1an


長期不用,數據就失效是不可能的!數據丟失的行為對用戶來說是無法容忍的,騰訊不會冒這麼低級的險。分佈式,去重,壓縮,主要是用這幾個技術!


青鳥看客


還真不知道。


山778


大是肯定的,但是這都是基本需求,你上傳上去的內容,都是經過壓縮的,不信你把上傳上去的照片或者視頻再下載下來對比一下就知道了,會損失很多的精度,不過對於在互聯網上的分享影響不大。如何實現的,肯定是要採用分佈式的,而且是有冗餘的,不會因為單一的事故造成數據丟失。在現在這個時代,用戶創造的內容對於提供商來說都是很重要的。


分享到:


相關文章: