大型網站架構模式-2

緩存

緩存就是將數據存放在距離計算最近的位置加快處理速度。緩存是改善軟件性能的第一手段,現代CPU越來越快的一個重要因素就是使用了更多的緩存,在複雜的軟件設計中,緩存幾乎無處不在。大型網站架構設計在很多方面都使用了緩存設計。

CDN:即內容分發網絡,部署在距離終端用戶最近的網絡服務商,用戶的網絡請求總是先到達他的網絡服務商那裡,在這裡緩存網站的一些靜態資源(較少變化的數據),可以就近以最快速度返回給用戶,如視頻網站和門戶網站會將用戶訪問量大的熱點內容緩存在CDN。

反向代理:反向代理數據網站前端架構的一部分,部署在網站的前端,當用戶請求到達網站的數據中心時,最新訪問到就是反向代理服務器,這裡緩存網站的靜態資源,無需將請求繼續轉發給應用服務器就能返回給用戶。

本地緩存:在應用服務器本地緩存著熱點數據,應用程序可以在本機內存中直接訪問數據,而無需訪問數據庫。

分佈式緩存:大型網站的數據量非常龐大,即使只緩存一小部分,需要的內存空間也不是單機能承受的,所以除了本地緩存,還需要分佈式緩存,將數據緩存在一個專門的分佈式緩存集群中,應用程序通過網絡通信訪問緩存數據。

使用緩存有兩個前提條件:一是訪問熱點不均衡,某些數據會更頻繁的訪問,這些數據應該放在緩存中;二是數據在某個時間段內有效,不會很快過期,否則緩存的數據就會因已失效而產生髒讀,影響結果的正確性。網絡應用中,緩存除了可以加快數據訪問速度,還可以減輕後端應用和數據存儲的負載壓力,這一點對網站數據庫架構至關重要,網站數據庫幾乎都是按照有緩存的前提進行負載能力設計的。

異步

計算機軟件發展的一個重要目標和驅動力是降低軟件耦合性。事物之間直接關係越少,就越少被彼此影響,越可以獨立發展。大型網站架構中,系統耦合性的手段除了前面提到的分層、分割、分佈等,還有一個重要的手段是異步,業務之間的消息傳遞不是同步調用,而是將一個業務操作分成多個階段,每個階段之家通過共享數據的方式異步執行進行操作。

在單一服務器內部可以通過多線程共享內存隊列的方式實現異步,處在業務操作前面的線程將輸出寫入到隊列,後面的線程從隊列中讀取數據進行處理;在分佈式系統中,多個服務器集群通過分佈式消息隊列實現異步,分佈式消息隊列可以看作內存隊列的分佈式部署。

異步架構是典型的生產者消費者模式,兩者不存在直接調用,只要保持數據結構不變,彼此功能實現可以隨意變化而互不影響,這對網站擴展新功能非常便利。除此之外,使用異步消息隊列還有如下特性。

提高系統可用性:消費者服務器發生故障,數據會在消息隊列服務器中存儲堆積,生產者服務器可以繼續處理業務請求,系統整體表現無故障。消費者服務器恢復正常後,繼續處理消息隊列中的數據。

加快網站響應速度:處在業務處理前端的生產者服務器在處理完業務請求後,將數據寫入消息隊列,不需要等待消費者服務器處理就可以返回,響應延遲減少。

消除併發訪問高峰:用戶訪問網站是隨機的,存在訪問高峰和低谷,即使網站按照一般訪問高峰進行規劃和部署,也依然會出現突發事件,比如購物平臺的促銷活動,微博上的熱點事件,都會造成網站高併發訪問突然增大,這可能會造成整個網站負載均衡過重,響應延遲,嚴重時甚至會出現服務宕機的情況。使用消息隊列將突然增加的訪問請求數據放入消息隊列中,等待消費者服務器依次處理,就不會對整個網站負載造成太大壓力。

但需要注意的是,使用異步方式處理業務可能會對用戶體驗、業務流程造成影響,需要網站產品設計方面的支持。

冗餘

網站需要7*24小時連續運行,但是服務器隨時可能出現故障,特別是服務器規模比較大時,出現某臺服務器宕機是必然事件。要想保證在服務器宕機的情況下網站依然可以繼續服務,不丟失數據,就需要一定程度的服務器冗餘運行,數據冗餘備份,這樣當某臺服務器宕機時,可以將其上的服務和數據訪問轉移到其他機器上。

訪問和負載很小的服務也必須部署至少兩臺服務器構成一個集群,其目的就是通過冗餘實現服務高可用。數據庫除了定期備份,存檔保存,實現冷備份外,為了保證在線業務高可用,還需要對數據庫進行主從分離,實時同步實現熱備份。

為了抵禦地震、海嘯等不可抗力導致網站完全癱瘓,某些大型網站會對整個數據中心進行備份,全球範圍內部署災備數據中心。網站程序和數據實時同步到多個災備數據中心。

自動化

無人值守的情況下網站可以正常運行,一切都可以自動化是網站的理想狀態。面前大型網站自動化架構設計主要集中在發佈運維方面。

發佈對網站都是頭等大事,許多網站故障出在發佈環節,網站工程師經常加班也是因為發佈不順利。通過減少人為干預,使發佈過程自動化可以有效減少故障。發佈過程包括諸多環節。自動化代碼管理,代碼版本控制、代碼分支創建合併等過程自動化,開發工程師只要提交自己參與開發的產品代號,系統會自動為其創建開發分支,後期會自動進行代碼合併;自動化測試,代碼開發完成,提交測試後,系統自動將代碼部署到測試環境,啟動自動化測試用例進行測試,向相關人員發送測試報告,向系統反饋測試結果;自動化安全檢測,安全檢測工具通過對代碼進行靜態安全掃描及部署到安全測試環境進行安全攻擊測試,評估其安全性;最好進行自動化部署,將工程代碼自動部署到線上生產環境。

此外,網站在運行過程中可能會遇到各種問題:服務器宕機、程序Bug、存儲空間不足、突然爆發的訪問高峰。網站需要對線上生產環境進行自動化監控,對服務器進行心跳檢測,並監控其各項性能指標和應用程序的關鍵數據指標。如果發現異常、超出預設的閥值,就進行自動化報警,向相關人員發送報警信息,警告故障可能會發生。在檢測到故障發生後,系統會進行自動化失效轉移,將失效的服務器從集群中隔離出去,不再處理系統中的應用請求。待故障消除後,系統進行自動化失效恢復,重新啟動服務,同步數據保證數據的一致性。在網站遇到訪問高峰,超出網站最大處理能力時,為了保證整個網站的安全可用,還會進行自動化降級,通過拒絕部分請求及關閉部分不重要的服務將系統負載將至一個安全的水平,必要時,還需要自動化分配資源,將空閒資源分配給重要的服務器,擴大其部署規模。


分享到:


相關文章: