天天用HTTP, 你確定你瞭解Content-Length和Transfer-Encoding 嗎

分享阿里 P8 高級架構師吐血總結的 《Java 核心知識體系&面試資料.pdf》

據說是阿里 P8 級高級架構師吐血總結的一份 Java 核心知識.pdf, 內容覆蓋很廣,Java 核心基礎、Java 多線程、高併發、Spring、微服務、Netty 與 RPC、Zookeeper、Kafka、RabbitMQ、Habase、設計模式、負載均衡、分佈式緩存、Hadoop、Spark、Storm、雲計算等。

另外,附送 100G 學習、面試視頻文檔喲~

獲取方式:【關注 + 轉發】後,私信我,回覆關鍵字【資源】,即可免費無套路獲取哦~

以下是資源的部分目錄以及內容截圖:

天天用HTTP, 你確定你瞭解Content-Length和Transfer-Encoding 嗎

天天用HTTP, 你確定你瞭解Content-Length和Transfer-Encoding 嗎

天天用HTTP, 你確定你瞭解Content-Length和Transfer-Encoding 嗎

天天用HTTP, 你確定你瞭解Content-Length和Transfer-Encoding 嗎

天天用HTTP, 你確定你瞭解Content-Length和Transfer-Encoding 嗎

重要的事再說一遍,獲取方式:【關注 + 轉發】後,私信我,回覆關鍵字【資源】,即可免費無套路獲取哦~

正文開始

由Content-Length導致的問題引發的一系列思考: 前段時間開發API網關, 使用postman調試時出現了超時的情況, 經排查確定是請求數據被處理後Content-Length與實際不一致導致的問題, 故有此文.

文章地址:
blog.piaoruiqing.com/blog/2019/0…

前言

Content-Length, HTTP消息長度, 用十進制數字表示的八位字節的數目. 一般情況下, 很多工作都被框架完成, 我們很少去關注這部分內容, 但少數情況下發生了Content-Length與實際消息長度不一致, 程序可能會發生比較奇怪的異常, 如:

  • 無響應直到超時.
  • 請求被截斷, 而且下一個請求解析出現錯亂.

什麼是Content-Length

Content-Length是HTTP消息長度, 用十進制數字表示的八位字節的數目, 是Headers中常見的一個字段. Content-Length應該是精確的, 否則就會導致異常 (特別地, HTTP1.0中這個字段可有可無).

Content-Length首部指示出報文中實體主體的字節大小. 這個大小是包含了所有內容編碼的, 比如, 對文本文件進行了gzip壓縮的話, Content-Length首部指的就是壓縮後的大小而不是原始大小.

Content-Length是如何工作的

Content-Length使用十進制的數字表示了消息的長度, 服務端/客戶端通過它來得知後續要讀取消息的長度.

天天用HTTP, 你確定你瞭解Content-Length和Transfer-Encoding 嗎

天天用HTTP, 你確定你瞭解Content-Length和Transfer-Encoding 嗎

如果這個長度不正確, 會發生如下情況:

Content-Length > 實際長度

如果Content-Length比實際的長度大, 服務端/客戶端讀取到消息結尾後, 會等待下一個字節, 自然會無響應直到超時.

天天用HTTP, 你確定你瞭解Content-Length和Transfer-Encoding 嗎

同樣地, 在響應消息中Content-Length超過實際長度也是一樣的效果:

天天用HTTP, 你確定你瞭解Content-Length和Transfer-Encoding 嗎

天天用HTTP, 你確定你瞭解Content-Length和Transfer-Encoding 嗎

Content-Length < 實際長度

如果這個長度小於實際長度, 首次請求的消息會被截取, 比如參數為param=piaoruiqing, Content-Length為10, 那麼這次請求的消息會被截取為: param=piao, 如圖所示:

天天用HTTP, 你確定你瞭解Content-Length和Transfer-Encoding 嗎

天天用HTTP, 你確定你瞭解Content-Length和Transfer-Encoding 嗎

但, 僅僅是如此嗎, 當然不, 我們再來看看第二次請求會發生什麼讓人意外的事情, 如圖:

天天用HTTP, 你確定你瞭解Content-Length和Transfer-Encoding 嗎

連續的兩次請求, 第一次消息被截斷, 而第二次沒有發生預期的截斷, 而是服務端拋出了異常: Request method 'ruiqingPOST' not supported.刺不刺激 (ノ)゚Д゚( )

那 ruiqingPOST是個什麼神仙方法??? 此時, 憑著多年開發(DEBUG)經驗練就的敏感度, 我們大致可以猜出, 上一次請求被截取剩下的消息, 在這次請求出現了. 掏出wireshark來驗證一下, 如圖:

天天用HTTP, 你確定你瞭解Content-Length和Transfer-Encoding 嗎

導致這種情況的原因就是開啟了Connection:keep-alive, 如果使用Connection:close, 所產生的現象就是每一次的請求都被截斷, 但不會產生解析混亂(如將上一次剩下的消息拼接到後續的請求消息中).

不確定Content-Length的值怎麼辦

Content-Length首部指示出報文中實體主體的字節大小. 但如在請求處理完成前無法獲取消息長度, 我們就無法明確指定Content-Length, 此時應該使用Transfer-Encoding: chunked

什麼是Transfer-Encoding: chunked

數據以一系列分塊的形式進行發送. Content-Length 首部在這種情況下不被髮送. 在每一個分塊的開頭需要添加當前分塊的長度, 以十六進制的形式表示,後面緊跟著 \r\n , 之後是分塊本身, 後面也是\r\n. 終止塊是一個常規的分塊, 不同之處在於其長度為0.

Transfer-Encoding: chunked是如何工作的

接下來我們用一個下載文件的例子, 來探討Transfer-Encoding: chunked是如何工作的. 服務端代碼如下:

天天用HTTP, 你確定你瞭解Content-Length和Transfer-Encoding 嗎

使用postman發起請求, wireshark抓包查看, 如圖:

天天用HTTP, 你確定你瞭解Content-Length和Transfer-Encoding 嗎

在wireshark中可以很清晰地看到chunked的數據, 其結構大致是: 返回的消息被分為多個數據塊, 每個數據塊有兩部分, 長度 + 數據, 這兩部分都以CRLF(即\r\n)結尾. 而終止塊是一個特殊的數據塊, 其長度為0, 如圖:

天天用HTTP, 你確定你瞭解Content-Length和Transfer-Encoding 嗎

如此, 即完成了分塊編碼. 其主要應用於如下場景, 即要傳輸大量的數據, 但是在請求在沒有被處理完之前響應的長度是無法獲得的. 例如, 當需要用從數據庫中查詢獲得的數據生成一個大的HTML表格、需要傳輸大量的圖片等.

結語

  • Content-Length如果存在且生效, 必須是正確的, 否則會發生異常.(大於實際值會超時, 小於實際值會截斷並可能導致後續的數據解析混亂)
  • 如果報文中包含Transfer-Encoding: chunked首部, 那麼Content-Length將被忽略.

作者:草堂箋

鏈接:
https://juejin.im/post/5d74d0356fb9a06b19735e3a


分享到:


相關文章: