一.H264結構圖
H264視頻壓縮後會成為一個序列幀.幀裡包含圖像,圖像分為很多片.每個片可以分為宏塊.每個宏塊由許多子塊組成.這就是H264結構圖.非常的情緒簡單.
H264結構中，一個視頻圖像編碼後的數據叫做一幀，一幀由一個片（slice）或多個片組成，一個片由一個或多個宏塊（MB）組成，一個宏塊由16x16的yuv數據組成。宏塊作為H264編碼的基本單位。
- 場和幀:視頻的一場或一幀可用來產生一個編碼圖像。在電視中，為減少大面積閃爍現象，把一幀分成兩個隔行的場。
- 片:每個圖象中，若干宏塊被排列成片的形式。片分為I片、B片、P片和其他一些片。
- I片只包含I宏塊，P片可包含P和I宏塊，而B片可包含B和I宏塊。
- I宏塊利用從當前片中已解碼的像素作為參考進行幀內預測。
- P宏塊利用前面已編碼圖象作為參考圖象進行幀內預測。
- B宏塊則利用雙向的參考圖象（前一幀和後一幀）進行幀內預測。
- 片的目的是為了限制誤碼的擴散和傳輸，使編碼片相互間是獨立的。
- 某片的預測不能以其它片中的宏塊為參考圖像，
- 這樣某一片中的預測誤差才不會傳播到其它片中去
- 宏塊:一個編碼圖像通常劃分成若干宏塊組成，一個宏塊由一個16×16亮度像素和附加的一個8×8 Cb和一個8×8 Cr彩色像素塊組成。
二. H264編碼分層
H264編碼分層,分為了2層.
- NAL層: (Network Abstraction Layer,視頻數據網絡抽象層)
- 它的作用是H264只要在網絡上傳輸,在傳輸的過程每個包以太網是1500字節. 而H264的幀往往會大於1500字節的.所以就要進行拆包. 將一個幀拆成多個包進行傳輸.所有的拆包或者組包都是通過NAL層去處理的.
- VCL層:(Video Coding Layer,視頻數據編碼層) 它的作用就是對視頻原始數據進行壓縮.
三.碼流的基本概念
- SODB:(String of Data Bits,原始數據比特流),長度不一定是8的倍數.它是由VCL層產生的.因為非8的倍數所以處理比較麻煩.
- RBSP:(Raw Byte Sequence Payload,SODB+trailing bits).算法是在SODB最後一位補1.不按字節對齊補0. 如果補齊0,不知道在哪裡結束.所以補1.如果不夠8位則按位補0.
- EBSP:(Encapsulate Byte Sequence Payload).就是生成壓縮流之後,我們還要在每個幀之前加一個起始位.起始位一般是十六進制的0001.但是在整個編碼後的數據裡,可能會出來連續的2個0x00.那這樣就與起始位產生了衝突.那怎麼處理了? H264規範裡說明如果處理2個連續的0x00,就額外增加一個0x03 .這樣就能預防壓縮後的數據與起始位產生衝突.
每個NAL前有一個起始碼 0x00 00 01（或者0x00 00 00 01），解碼器檢測每個起始碼，作為一個NAL的起始標識，當檢測到下一個起始碼時，當前NAL結束。
同時H.264規定，當檢測到0x00 00 01時，也可以表徵當前NAL的結束。那麼NAL中數據出現0x000001或0x000000時怎麼辦？H.264引入了防止競爭機制，如果編碼器檢測到NAL數據存在0x000001或0x000000時，編碼器會在最後個字節前插入一個新的字節0x03，這樣：
解碼器檢測到0x000003時，把03拋棄，恢復原始數據（脫殼操作）。解碼器在解碼時，首先逐個字節讀取NAL的數據，統計NAL的長度，然後再開始解碼。
- NALU: NAL Header(1B)+EBSP.NALU就是在EBSP的基礎上加1B的網絡頭.
四. 詳解NAL Unit
NAL 單元是由一個NALU頭部+一個切片.切片又可以細分成"切片頭+切片數據".我們之間瞭解過一個H254的幀是由多個切片構成的.因為一幀數據一次有可能傳不完.
切片與宏塊的關係(Slice & MacroBlock)
每個切片都包括切片頭+切片數據. 那每個切片數據包括了很多宏塊.每個宏塊包括了宏塊的類型,宏塊的預測,殘差數據.
圖解H264切片
在一副壓縮的H264的幀裡,可以包含多個切片.至少有一個切換.
H264碼流分層結構圖.
- A Annex格式數據,就是起始碼+Nal Unit 數據
- NAL Unit: NALU 頭+NALU數據
- NALU 主體,是由切片組成.切片包括切片頭+切片數據
- Slice數據: 宏塊組成
- PCM類: 宏塊類型+pcm數據,或者宏塊類型+宏塊模式+殘差數據
- Residual: 殘差塊.
