關注+私信可以免費領取C/C++,Linux,golang,Nginx,ZeroMQ,MySQL,Redis,fastdfs,MongoDB,ZK,流媒體,CDN,P2P,K8S,Docker,ffmpeg,TCP/IP,協程,DPDK,嵌入式等。。。。。相關資料
0.視頻播放器原理
編碼
錄像(視頻)、錄音(音頻),實質上是一個壓縮採集到的圖像或者音頻數據的過程,這個過程又稱為編碼。那為什麼需要編碼(壓縮)呢?因為設備採集到的音視頻數據太大了,如果不進行壓縮,佔用的空間太大,不利於傳輸等。
解碼
播放視頻或者音頻文件,實質上是一個解壓縮的過程,這個過程又稱為解碼。那為什麼又要解碼(解壓縮)呢?因為播放器播放需要的是音頻採樣數據、視頻像素數據,通俗一點來說就是需要的是編碼之前的數據,所以需要解碼來獲取。
如下圖展示了播放器播放視頻的原理:
1.什麼是ffmpeg?
1.ffmpeg 是音視頻處理核心技術,要成為音視頻領域的開發高手,不可不學 ffmpeg,一個完整的跨平臺解決方案,用於錄製,轉換和流式傳輸音頻和視頻的技術。
2.騰訊視頻、愛奇藝、阿里影音、均有大量 音視頻開發工程師的需求。
3.ffmpeg 源代碼 採用 c 編寫
2.ffmpeg 音視頻編/解碼 流程圖
如下所示流程圖:
如上圖所示,音視頻文件已流形式經編碼 encode 之後成為 packet,packet 被解碼之後成為視頻幀frame
3.ffmpeg 常用 struct
AVFormatContext
AVFormatContext 主要存儲視音頻封裝格式中包含的信息
AVStream
AVStream 存儲一個視頻/音頻流的相關數據
AVCodecContext
流解碼器容器-每個AVStream對應一個AVCodecContext,存儲該視頻/音頻流使用解碼方式的相關數據、如 codec_type 編碼器類型。
AVCodec
解碼器-每個AVCodecContext中對應一個AVCodec,包含該視頻/音頻對應的解碼器。每種解碼器都對應一個AVCodec結構。
AVPacket
視頻,每個結構一般是存一幀;音頻可能有好幾幀
關注+私信可以免費領取C/C++,Linux,golang,Nginx,ZeroMQ,MySQL,Redis,fastdfs,MongoDB,ZK,流媒體,CDN,P2P,K8S,Docker,ffmpeg,TCP/IP,協程,DPDK,嵌入式等。。。。。相關資料,
幀(stream)數據編碼後的數據,或解碼為 幀(stream) 數據前的數據存儲格式為AVPacket
AVFrame
包(Packet)數據解碼之後以幀(frame)的結構存在。
4.ffmpeg 常用Api
av_register_all()
註冊所有 ffmpeg 解碼器, 如果需要使用支持特定類型音視頻解碼的解碼器則需要使用 void av_register_input_format(AVInputFormat *format);
avformat_alloc_output_context2()
初始化輸出碼流的AVFormatContext。
avio_open()
創建並初始化AVIOContext以訪問 url 指示的資源。
av_new_stream()
創建新流,此新流用於添加到新的媒體文件
avcodec_find_encoder()
查找編碼器,一般是用來將數據幀進行編碼,並生成新的輸出文件。
avcodec_open2()
打開編碼器
avformat_write_header()
寫文件頭(對於某些沒有文件頭的封裝格式,不需要此函數。比如說MPEG2TS)。
avcodec_encode_video2()
將 frame 進行編碼,並轉化為 packet 進行存儲
av_write_frame()
Write a packet to an output media file. 將編碼後的視頻碼流寫入文件
flush_encoder()
Write the stream trailer to an output media file and free the file private data。
將流預告片寫入輸出媒體文件並釋放文件私人數據。
其實上述常用Api 是一個視頻流文件進行編碼並輸出編碼後文件常用的Api
ffmpeg編碼視頻的流程圖
如下所示:
ffmpeg解碼視頻的流程圖
4 分享-解決問題的思路
最近接觸 ffmpeg 是因為部門業務需要,之前個人從未接觸過 ffmpeg。
4.1 業務目標
通過調用 ffmpeg Api 實現截取視頻任意一幀。
4.2 出現的問題
1.個人對視頻當中某一幀獲取流程不是很瞭解;
2.讀源碼過程中 有些 ffmpeg Api 看不懂;
4.3 問題的根本原因
1.對視頻播放的本質不清楚,其實視頻的本質是一幀一幀的圖片拼接起來的結果;
2.沒有耐心讀 ffmpeg 源碼,因為沒學過c ;
3.對未知的從未嘗試過的事情有些許排斥。
4.4 解決問題的方案
1.瞭解視頻播放原理-知道了解碼、編碼等問題 (完成100%)
2.瞭解ffmpeg、解碼、編碼(所以解決方案的第一步是前提)、學習編碼/解碼相關流程,(畢竟視頻的生成、播放與編解碼是分不開的)、以及相關Api (完成100%)
3.嘗試讀前輩代碼、並提取實現業務的 keycode、文檔輸出等。(2018-10-23日晚上下班前輸出相關文檔)
關注+私信可以免費領取C/C++,Linux,golang,Nginx,ZeroMQ,MySQL,Redis,fastdfs,MongoDB,ZK,流媒體,CDN,P2P,K8S,Docker,ffmpeg,TCP/IP,協程,DPDK,嵌入式等。。。。。相關資料,
Ffmpeg音視頻常用命令
同時還有音視頻同步,這個是很重要的。
- 渲染流程
1、FFmpeg常用命令實戰
FFmpeg音視頻處理流程講解
FFmpeg基本信息查詢命令
總結;關注+私信可以免費領取C/C++,Linux,golang,Nginx,ZeroMQ,MySQL,Redis,fastdfs,MongoDB,ZK,流媒體,CDN,P2P,K8S,Docker,ffmpeg,TCP/IP,協程,DPDK,嵌入式等。。。。。相關資料,
閱讀更多 編程資料庫 的文章