1
背景
京東作為電商平臺，近幾年用戶、業務持續增長，訪問量持續上升，隨著這些業務的發展，API網關應運而生。
API網關，就是為了解放客戶端與服務端而存在的。對於客戶端，使開放給客戶端的接口標準統一，以降低客戶端的接入成本；對於服務端，使服務端無需關注接口暴露在公網面臨的問題而著眼於業務的實現，來提升開發效率。
在剛剛過去的全民狂歡購物節，API網關如何做才能高效的處理近千萬的併發請求是本文的重點。
2
API網關介紹
API網關，作為客戶端與服務端的紐帶，核心任務是將客戶端請求轉發到後端服務。但是，作為所有流量請求的入口 , 面臨的很重要的一個問題就是高併發，因為高併發的需要，要求網關處理請求必須高效；其次是安全防護，安全主要是指對網關對後端服務的一個保護；再者就是完善的數據統計及監控報警機制；當然，為了方便我們內部用戶接入，多協議適配的支持、灰度發佈上線也是必備功能。
API網關特徵：
1）高性能：在高吞吐量下保證低延遲。
2）安全穩定：身份認證、精細化流量控制、大數據實時分析等多種手段保障服務質量。
3）平臺化：進行各項數據監控，提供數據分析、監控告警、故障定位等服務。
4）灰度：灰度發佈，支持按設備、PIN、自定義比例方式在不影響正常用戶的情況下，保障後端服務平穩過渡。
5）方便快捷：支持http、jsf服務快捷接入，mock功能加快協同開發。
技術實踐
API網關服務於原生客戶端、Web、小程序，不限於具體的業務。其主要架構圖如下所示：
主要分3層：
- 第1是VIP層，主要是接收客戶端http、https請求，並將請求轉發到網關；
- 第2是網關層，對請求進行合法性校驗並轉發；
- 第3層就是後端業務API，這些業務方，就是我們服務的主要對象。
1
高併發實現
網關高併發實踐主要利用異步化處理技術，將請求由同步變為異步，利用NIO多路複用，達到請求接收最大化。
首先看下圖同步處理過程：
採用同步處理，線程的釋放就受限於後端服務響應的快慢。當響應過慢時，線程池就容易出現耗盡現象，並且資源利用率上不去，吞吐量很低，或者說此時的大量請求都會被服務器拒絕。
由此可以看出，同步處理使資源利用率得不到充分的利用，大量請求被拒絕同時又影響了用戶體驗。如果想提高併發只能通過橫向加機器，這樣造成機器資源大量浪費的現象。如果是網關這麼處理，那麼這種現象體現的將更明顯。
為了解決同步引起的問題，採用異步，如下圖所示：
通過實現異步化處理，線程可以在開啟異步後直接釋放，當前請求的響應會被延後，當後端服務有響應後，再將響應寫回給客戶端。這樣就算是有後端服務響應很慢，因為線程已被釋放了，可以繼續接收新的請求，達到服務資源使用的最大化。
2
安全防護
精細化流控：
作為所有業務方的第一道防線，網關承載著海量流量的訪問，以及隨時可能爆發的惡意流量攻擊的壓力。
很典型的，每年雙十一或是618都會有刷子惡意刷後端服務接口，如果網關不做處理直接將流量透傳到後端服務，後端服務很大可能會被瞬時流量沖垮，至少會增大後端服務響應延時及浪費公司大量資源來處理攻擊。
那麼，進行流量控制就是必不可少的。網關提供秒級的流量控制，可以對單個接口按地域、風控等級等維度進行流控配置。這樣流量只到了網關層面，就不會透傳到後端服務了。
流控主要是採用令牌桶算法實現，策略主要有排隊或熔斷，具體的策略根據不同的端，選擇合適的流控動作。
API暴露在公網，肯定會存在被刷的風險，網關要做的就是儘可能降低這種風險。就像通過制定法律來儘可能減少犯罪一樣，通過訪問權限控制、簽名認證、跨域校驗等來儘可能的降低API接口被刷的風險。
授權：只有通過API負責人授權的接口，客戶端才有權限訪問 。如果未授權，在網關處攔截，響應給客戶端沒有訪問權限；
簽名認證：按規則將請求參數通過HMAC-SHA256算法運算生成簽名值，對客戶端計算的簽名值與網關計算的簽名值進行匹配，匹配的請求繼續向下流轉，否則直接被攔截。
跨域效驗：
對於WEB端應用，調用網關屬於跨域請求。這類請求，如果不進行校驗，會產生跨域攻擊。所以需要獲取到客戶端請求來源，對客戶端請求來源進行認證，只有合法的請求來源才被允許訪問後端服務。對於小程序應用，也會校驗小程序真實性。
3
灰度發佈
設想這樣一個場景：有一個核心業務，做了比較大的改動，又或者是項目重構，開發完成，同時測試完成，要上線了。但是，問題也來了：因為改動很大，業務很重要，測試所拿機型設備有限，擔心直接全部上線會影響測試未覆蓋的線上用戶。那麼，能不能先有10%的流量請求到新服務，看下用戶使用情況，再決定是否全部上線呢。
為了滿足這種需求，網關提供按設備號、用戶標識的定點灰度測試，同時支持按比例進行的灰度上線。
用戶請求到網關，如果開啟灰度模式，就獲取到灰度地址，將請求轉發到特定的服務。
自動化運營
在高舉可持續發展旗幟的時代下，如果一個產品僅僅做到功能齊全是遠遠不夠的。只有做到可持續發展，實現自動化運營的產品才真正是個好產品。API網關平臺化意味著N條產品線，一個網關，通過實現自動化運營，解放生產力，打造統一化平臺，提供可持續化產品，擁抱API經濟，實現API變現。
API網關控制檯首頁
1
獨立部署與快速擴展
API網關統一管理著發佈方對外暴露的API服務，各個服務可以獨立開發部署。針對後端服務的發佈與下線，發佈方可通過API網關提供界面化管理控制平臺，實現流程化管理，線上審批通過後，實時生效，無需手動控制，實現自動化運營。
同時對於後端服務的各項配置，如API權限管理、流量控制等，API網關進行自動化管理，動態配置，動態加載，保證在無需重啟服務的情況下即可進行配置更改操作。
要實現自動化運營，除了對API服務管理做到獨立部署、快速擴展外，對於API的調用方也實現自助API開通，授權訪問API服務。
2
數據分析與監控告警
由於API網關處在一個內部系統與外部環境的分界點處，所有外部請求都經過API網關進行調度和過濾，每時每刻都有大量請求通過API網關進入內部服務。因此可以在API網關層進行請求接入監控，監控各個接口的訪問請求並進行收集，以便相應指標的統計分析。
在API網關界面化管理控制平臺中，對收集統計到的監控數據，如API接口調用量、響應時間等信息，提供了可視化的API實時智能數據分析與監控告警功能，訂閱API異常報警信息，以便實時監控後端服務運行情況。
後端接口監控數據圖
3
線上環境故障定位
當發生線上故障時，API網關提供一系列的故障現場還原措施進行故障的定位與排查，通過日誌實時分析、異常流量實時探測、監控告警等技術，快速拿到故障快照、還原故障現場以及迅速定位問題原因。
後端接口調試界面圖
總結
作為系統的唯一入口，API網關的地位是至關重要的。API網關位於技術中臺的核心要塞，符合技術中臺戰略發展方向，做到了產品組件化、需求結構化、數據配置化、業務可視化：
- 產品組件化：具有足夠的靈活性和擴展性，支持提供特定場景特定需求。
- 需求結構化：根據業務能力、業務規則完成需求結構化分解，降低溝通成本。
- 數據配置化：在線配置業務，快速發佈上線。
- 業務可視化：細粒度劃分業務規則，多維度展示業務監控數據。
對於基於微服務架構實現的後端服務而言，接入一個性能高效、安全穩定的API網關，享受其帶來的身份認證、路由請求、協議轉換等便利，更加專注於自身業務邏輯的開發，是有必要的。利用API網關對各個服務API進行統一的管理和監控，解決客戶端與後端服務交互不便的問題，具有十分重要的意義。
閱讀更多 運營增長 的文章
