12.02 ffmpeg音視頻處理流程核心技術

  • 視頻播放器原理
  • 什麼是
    ffmpeg?
  • ffmpeg 音視頻編/解碼 流程圖
  • ffmpeg 常用 struct AVFormatContext AVStream AVCodecContext AVCodec AVPacket AVFrame
  • ffmpeg 常用Api av_register_all() avformat_alloc_output_context2() avio_open() av_new_stream() avcodec_find_encoder() avcodec_open2() avformat_write_header() avcodec_encode_video2() av_write_frame() flush_encoder() av_write_trailer() ffmpeg編碼視頻的流程圖 ffmpeg解碼視頻的流程圖
  • 分享-解決問題的思路
  • 關注+私信可以免費領取C/C++,Linux,golang,Nginx,ZeroMQ,MySQL,Redis,fastdfs,MongoDB,ZK,流媒體,CDN,P2P,K8S,Docker,ffmpeg,TCP/IP,協程,DPDK,嵌入式等。。。。。相關資料

    0.視頻播放器原理

    編碼

    錄像(視頻)、錄音(音頻),實質上是一個壓縮採集到的圖像或者音頻數據的過程,這個過程又稱為編碼。那為什麼需要編碼(壓縮)呢?因為設備採集到的音視頻數據太大了,如果不進行壓縮,佔用的空間太大,不利於傳輸等。

    解碼

    播放視頻或者音頻文件,實質上是一個解壓縮的過程,這個過程又稱為解碼。那為什麼又要解碼(解壓縮)呢?因為播放器播放需要的是音頻採樣數據、視頻像素數據,通俗一點來說就是需要的是編碼之前的數據,所以需要解碼來獲取。

    如下圖展示了播放器播放視頻的原理:


    ffmpeg音視頻處理流程核心技術

    1.什麼是ffmpeg?

    1.ffmpeg 是音視頻處理核心技術,要成為音視頻領域的開發高手,不可不學 ffmpeg,一個完整的跨平臺解決方案,用於錄製,轉換和流式傳輸音頻和視頻的技術。
    2.騰訊視頻、愛奇藝、阿里影音、均有大量 音視頻開發工程師的需求。
    3.ffmpeg 源代碼 採用 c 編寫

    2.ffmpeg 音視頻編/解碼 流程圖

    如下所示流程圖:


    ffmpeg音視頻處理流程核心技術


    如上圖所示,音視頻文件已流形式經編碼 encode 之後成為 packetpacket 被解碼之後成為視頻幀frame

    3.ffmpeg 常用 struct

    AVFormatContext

    AVFormatContext 主要存儲視音頻封裝格式中包含的信息

    AVStream

    AVStream 存儲一個視頻/音頻流的相關數據

    AVCodecContext

    流解碼器容器-每個AVStream對應一個AVCodecContext,存儲該視頻/音頻流使用解碼方式的相關數據、如 codec_type 編碼器類型。

    AVCodec

    解碼器-每個AVCodecContext中對應一個AVCodec,包含該視頻/音頻對應的解碼器。每種解碼器都對應一個AVCodec結構。

    AVPacket

    視頻,每個結構一般是存一幀;音頻可能有好幾幀

    關注+私信可以免費領取C/C++,Linux,golang,Nginx,ZeroMQ,MySQL,Redis,fastdfs,MongoDB,ZK,流媒體,CDN,P2P,K8S,Docker,ffmpeg,TCP/IP,協程,DPDK,嵌入式等。。。。。相關資料,

    ffmpeg音視頻處理流程核心技術


    幀(stream)數據編碼後的數據,或解碼為 幀(stream) 數據前的數據存儲格式為AVPacket

    AVFrame

    包(Packet)數據解碼之後以幀(frame)的結構存在。

    4.ffmpeg 常用Api

    av_register_all()

    註冊所有 ffmpeg 解碼器, 如果需要使用支持特定類型音視頻解碼的解碼器則需要使用 void av_register_input_format(AVInputFormat *format);

    avformat_alloc_output_context2()

    初始化輸出碼流的AVFormatContext。

    avio_open()

    創建並初始化AVIOContext以訪問 url 指示的資源。

    av_new_stream()

    創建新流,此新流用於添加到新的媒體文件

    avcodec_find_encoder()

    查找編碼器,一般是用來將數據幀進行編碼,並生成新的輸出文件。

    avcodec_open2()

    打開編碼器

    avformat_write_header()

    寫文件頭(對於某些沒有文件頭的封裝格式,不需要此函數。比如說MPEG2TS)。

    avcodec_encode_video2()

    將 frame 進行編碼,並轉化為 packet 進行存儲

    av_write_frame()

    Write a packet to an output media file. 將編碼後的視頻碼流寫入文件

    flush_encoder()

    Write the stream trailer to an output media file and free the file private data。
    將流預告片寫入輸出媒體文件並釋放文件私人數據。

    其實上述常用Api 是一個視頻流文件進行編碼並輸出編碼後文件常用的Api

    ffmpeg編碼視頻的流程圖

    如下所示:


    ffmpeg音視頻處理流程核心技術

    ffmpeg解碼視頻的流程圖

    ffmpeg音視頻處理流程核心技術

    4 分享-解決問題的思路

    最近接觸 ffmpeg 是因為部門業務需要,之前個人從未接觸過 ffmpeg。

    4.1 業務目標

    通過調用 ffmpeg Api 實現截取視頻任意一幀。

    4.2 出現的問題

    1.個人對視頻當中某一幀獲取流程不是很瞭解;
    2.讀源碼過程中 有些 ffmpeg Api 看不懂;

    4.3 問題的根本原因

    1.對視頻播放的本質不清楚,其實視頻的本質是一幀一幀的圖片拼接起來的結果;
    2.沒有耐心讀 ffmpeg 源碼,因為沒學過c ;
    3.對未知的從未嘗試過的事情有些許排斥。

    4.4 解決問題的方案

    1.瞭解視頻播放原理-知道了解碼、編碼等問題 (完成100%)
    2.瞭解ffmpeg、解碼、編碼(所以解決方案的第一步是前提)、學習編碼/解碼相關流程,(畢竟視頻的生成、播放與編解碼是分不開的)、以及相關Api (完成100%)
    3.嘗試讀前輩代碼、並提取實現業務的 keycode、文檔輸出等。(2018-10-23日晚上下班前輸出相關文檔)

    關注+私信可以免費領取C/C++,Linux,golang,Nginx,ZeroMQ,MySQL,Redis,fastdfs,MongoDB,ZK,流媒體,CDN,P2P,K8S,Docker,ffmpeg,TCP/IP,協程,DPDK,嵌入式等。。。。。相關資料,

    ffmpeg音視頻處理流程核心技術


    Ffmpeg音視頻常用命令

  • 播放器架構
  • ffmpeg音視頻處理流程核心技術

    同時還有音視頻同步,這個是很重要的。

    • 渲染流程
    ffmpeg音視頻處理流程核心技術

    1、FFmpeg常用命令實戰

    FFmpeg音視頻處理流程講解

    ffmpeg音視頻處理流程核心技術


    ffmpeg音視頻處理流程核心技術

    FFmpeg基本信息查詢命令

    ffmpeg音視頻處理流程核心技術

    總結;關注+私信可以免費領取C/C++,Linux,golang,Nginx,ZeroMQ,MySQL,Redis,fastdfs,MongoDB,ZK,流媒體,CDN,P2P,K8S,Docker,ffmpeg,TCP/IP,協程,DPDK,嵌入式等。。。。。相關資料,


    分享到:


    相關文章: