前言
本文來自論文《基於 RTMP 協議的流媒體技術的原理與應用》，文中研究了基於 Flash 平臺的流媒體系統中使用的 RTMP 協議的原理和應用，並對網絡上實時流媒體的各種傳輸方式的優缺點進行了分析。然後,重點分析了基於 RTMP 協議的流媒體技術的特點,並且介紹了 RTMP 協議報文的格式。最後,實現了一個基於 RTMP 協議的流媒體直播系統。
對於即時通訊開發人員來說，文中的相關理論和思路，對於研究即時通訊實時音視頻（IM聊天應用的視時音視頻通話）技術中的數據傳輸方案，原理是相通的，有一定的學習和借鑑意義，希望能給你帶來一定的啟發。即時通訊網(52im.net)現全文收錄之。
更多實時音視頻開發資料，後臺私信“1”獲取
論文摘要
本文介紹了基於 Flash 平臺的流媒體系統中使用的 RTMP 協議的原理和應用。首先,對網絡上流媒體的各種 傳輸方式的優缺點進行了分析。然後,重點分析了基於 RTMP 協議的流媒體技術的特點,並且介紹了 RTMP 協議 報文的格式。最後,實現了一個基於 RTMP 協議的流媒體直播系統。
1 引言
近年來,隨著網絡帶寬的提升,以及多媒體壓縮編碼技術的發展,流媒體技術得到了非常廣泛的應用。全球的流媒體市場正在以極高的速度向前發展,並逐步取代了以文本和圖片為主的傳統互聯網。根據Cisco的VisualNetworkingIndex(VNI)統計,2005年流媒體流量僅佔全球互聯網總流量的5%,而到了2011年這一比例已經提升到40%,預計到2015年這一比例將會進一步提升到62%。與此同時,流媒體技術也已經突破了電腦的限制,進入了平板電腦和智能手機等領域,一個Video Every Where的時代即將到來[1]。
在這種流媒體快速發展的大環境下,各個地方的電視臺,視頻服務提供商紛紛開始了自己的流媒體業務。在搭建業務平臺的時候,如何選取合適自己的流媒體平臺成為一個至關重要的問題。中國網絡電視臺,中國教育電視臺,河南電視臺,深圳電視臺等多家電視臺,以及六間房,奇異網,威視網等流媒體服務商都選擇了Adobe公司的基於Flash平臺的流媒體系統。該系統傳輸數據使用的RTMP協議[2]因此得到了非常廣泛的應用。本文將會對其特點進行詳細的分析,並搭建一個基於RTMP協議的流媒體直播系統。
2 流媒體
當前互聯網中的流媒體服務從傳輸方式上大體上可以分為兩種方式：順序流式傳輸和實時流式傳輸。
1順序流式傳輸
順序流式傳輸採用普通的HTTP服務器作為存儲多媒體文件的服務器。當客戶端發起連接想要觀看多媒體資源的時候,直接通過HTTP協議把文件下載到客戶端本地系統的臨時文件夾中,再使用播放器播放已經下載好的文件。它的與服務器交互的流程如下圖所示。
順序流式傳輸的實質就是播放本地文件。順序流式傳輸目前得到了十分廣泛的應用：YouTube、優酷網、土豆網等視頻服務商都採用了該種方式提供多媒體服務。順序流式傳輸的好處主要是減輕了服務器的壓力,即當多媒體文件下載完成後就可以斷開連接,從而節省出服務器資源再為其他客戶端服務。此外，順序流式傳輸使用的是普通的HTTP服務器，視頻服務商不必花費額外的資金購買流媒體服務器，從而節省了一筆經費。
順序流式傳輸如下圖：
2實時流式傳輸
實時流式傳輸採用專門的流媒體服務器存儲多媒體文件。當客戶端發起連接想要觀看多媒體資源的時候，一般通過專有的實時流式傳輸協議把位於流媒體服務器上的多媒體數據直接傳輸給客戶端的播放器，再實時播放。他與服務器交互的流程如下圖所示。
實時流式傳輸的應用目前還處於發展階段，主要應用於網絡直播和正版影視的點播。使用實時流式傳輸方式觀看多媒體資源的時候，由於不會把文件下載到本地，可以防止視音頻提供商的內容被非法拷貝，從而保護了視音頻內容的版權。此外，使用實時流式傳輸方式觀看多媒體資源的時候，可以隨意跳轉到該視音頻的任何位置，而不必像順序流式傳輸那樣只能觀看已經下載過的部分，因此大大增加了觀看時的自由度。
實時流式傳輸如下圖：
3 實時流式傳輸
流媒體系統中媒體數據傳輸需要相應的實時流 式傳輸協議支持。實時流式傳輸協議屬於互聯網 TCP/IP 五層體系結構中應用層的協議。在當前的互聯網中，很多實時流式傳輸協議的標準是公司私有的，因此這些協議規範並不公開。目前公開規範 的實時流式傳輸協議有以下幾種:
1RTSP+RTP
RTSP 是由 IETF( Internet 工程任務組) 提出 的[3]。RTSP 協議全稱是 Real Time Streaming Proto- col,即實時流傳輸協議,是 IETF 的 RFC 標準。
RTSP 用於控制流媒體的傳輸,比如建立連接,播放, 暫停等等,但本身並不傳輸多媒體數據。多媒體數據通常都是使用 RTP/RTCP 協議進行傳輸。RTP/ RTCP 協議全稱是 Real - time Transport Protocol / Real - time Transport Control Protocol,即實時傳送協議 / 實時傳送控制協議,也是 IETF 的 RFC 標準,專門用於傳輸多媒體數據。
雖然 RTSP + RTP 是一個國際標準的組合,但是在互聯網世界中卻沒能做到“一統天下”。這與互聯網的環境有很大關係。
RTP/ RTCP 作為傳輸多媒體數據的網絡協議,一般情況下使用 UDP 協議作為其傳輸層的網絡協議[3]。 UDP 是無連接的,不提供可靠交付,因此在互聯網上( 尤其是廣域網) 傳輸數據的時候極易產生丟包, 時延,抖動等問題。多媒體數據對丟包,時延,抖動 有很高的要求,一點點小問題就會極大的影響用戶的體驗質量(QoE)[4]。因此互聯網上採用RTSP + RTP 方式傳輸的流媒體並不是很多。
不過，也有例外，現在主流的即時通訊（即IM聊天應用）中的實時音視頻聊天中，多使用這種組件，原因在於實時音視頻聊天不同於影片播放這種場景，實時性比完整性更重要，播放影片網絡不好的時候可以加載一會，用戶可以等，但實時音視頻聊天時這就是大忌，好在實時音視頻聊天時網絡很爛的情況下，圖像幀丟失的情況並不會有實質性地影響，因而為了效率和實時體驗，RTP/RTCP的UDP方式相反卻是最佳的。
與在因特網上傳輸的流媒體不同，IPTV 通常都採用 RTSP + RTP 的方式傳輸多媒體數據[5]。因為 IPTV 通常採用專網傳輸，網絡狀況較好，極少出現丟包,時延,抖動等問題，而 UDP 簡單的協議規則可以大幅提高傳輸效率,所以可以“放心大膽”的使用 RTSP + RTP 的方式傳輸。
2MMS
MMS 是由微軟公司提出的。MMS 協議全稱是 Microsoft Media Server protocol,即微軟媒體服務協議,用於訪問 Windows Media 發佈點上的內容。
3HLS
HLS 是由蘋果公司提出的。HLS 全稱是 HTTP Live Streaming,即基於 HTTP 的實時流式傳輸協議, 可實現流媒體的直播和點播,主要應用在 iOS 系統, 為 iOS 設備( 如 iPhone、iPad) 提供音視頻直播和點播方案。
4RTMP
RTMP 是由 Adobe 公司提出的。RTMP 協議全稱是 Real Time Messaging Protocol,即實時消息傳送協議,用於在 Flash 平臺之間傳遞視音頻以及數據。 與 RTSP + RTP 組合提供流媒體服務的方式不同, RTMP 協議本身既可以傳輸多媒體數據也可以控制多媒體播放。
RTMP 協議使用 TCP 協議作為其傳輸層的網絡協議。TCP 是面向連接的[3],提供可靠交付的協議,因此在互聯網上傳輸時不會出現丟包情況,從而保證了用戶體驗( QoE) 。但是 TCP 協議提供可靠交付的代價就是增加了一些額外的開銷,佔用了一些帶寬和處理機資源。隨著網絡帶寬的提高和計算機硬件的發展,這些開銷會顯得越來越微不足道。因此 RTMP 協議在未來有很好的發展前景。
4 基於 RTMP 的系統的特點
很多網絡電視臺,流媒體服務提供商之所以會選擇 RTMP 協議作為其提供流媒體服務的應用層協 議,在於它有以下幾個特點:：無須安裝客戶端程序, 保證了媒體傳輸質量。
1無須安裝客戶端程序
收看採用 RTMP 協議提供的流媒體無需安裝客 戶端程序,大大簡化了客戶操作的複雜度。一般收 看流媒體都需要相應的客戶端軟件的支持,用戶需 要收看流媒體就必須下載相應的軟件( 或插件) 。 而支持 RTMP 協議的流媒體客戶端可以製作成一個普通的 Flash 文件,只要安裝過 Flash Player 的網頁瀏覽器就可以自動下載該文件並運行它。而 Flash Player 是一個上網必備的插件。據統計,全世界 98% 的網頁瀏覽器都安裝了 Flash Player。因此,普通用戶不需要任何操作,只要使用網頁瀏覽器打開播放頁面,就可以收看流媒體[6]。
2保證了媒體傳輸質量
RTMP 協議有效的保證了媒體傳輸質量,使用戶可以觀看到高質量的多媒體。RTMP 採用 TCP 協議作為其在傳輸層的協議,避免了多媒體數據在廣域網傳輸過程中的丟包對質量造成的損失。此外 RTMP 協議傳輸的 FLV 封裝格式支持的 H. 264 視頻編碼方式可以在很低的碼率下顯示質量還不錯的畫面,非常適合網絡帶寬不足的情況下收看流媒體。
5 RTMP 的規範
1RTMP 的規範 協 議 格 式
RTMP 協議是一個互聯網 TCP/IP 五層體系結構中應用層的協議。RTMP 協議中基本的數據單元稱為消息( Message) 。當 RTMP 協議在互聯網中傳 輸數據的時候,消息會被拆分成更小的單元,稱為消 息塊( Chunk) 。
消息：
消息是 RTMP 協議中基本的數據單元。不同種 類的消息包含不同的 Message Type ID,代表不同的 功能。RTMP 協議中一共規定了十多種消息類型, 分別發揮著不同的作用。例如,Message Type ID 在 1 - 7 的消息用於協議控制,這些消息一般是 RTMP 協議自身管理要使用的消息,用戶一般情況下無需操作其中的數據。Message Type ID 為 8,9 的消息分別用於傳輸音頻和視頻數據。Message Type ID 為 15-20的消息用於發送AMF編碼[8]的命令,負責 用戶與服務器之間的交互,比如播放,暫停等等。消息首部( Message Header) 有四部分組成: 標誌消息 類型的 Message Type ID,標 志 消 息 長 度 的 Payload Length,標識時間戳的 Timestamp,標識消息所屬媒 體流的 Stream ID。消息的報文結構如下圖所示。
消息塊：
在網絡上傳輸數據時,消息需要被拆分成較小的數據塊,才適合在相應的網絡環境上傳輸。RTMP 協議中規定,消息在網絡上傳輸時被拆分成消息塊 ( Chunk) 。消息塊首部( Chunk Header) 有三部分組成: 用於標識本塊的 Chunk Basic Header,用於標識 本塊負載所屬消息的 Chunk Message Header,以及當 時間戳溢出時才出現的 Extended Timestamp。消息 塊的報文結構如下圖所示。
消息分塊：
在消息被分割成幾個消息塊的過程中,消息負載部分( Message Body) 被分割成大小固定的數據塊 ( 默認是 128 字節,最後一個數據塊可以小於該固定長度) ,並在其首部加上消息塊首部( Chunk Head- er) ,就組成了相應的消息塊。消息分塊過程如下圖所示,一個大小為 307 字節的消息被分割成 128 字 節的消息塊( 除了最後一個) 。
RTMP 傳輸媒體數據的過程中,發送端首先把媒體數據封裝成消息,然後把消息分割成消息塊,最後將分割後的消息塊通過 TCP 協議發送出去。接收端在通過 TCP 協議收到數據後,首先把消息塊重新組合成消息,然後通過對消息進行解封裝處理就 可以恢復出媒體數據。
2連接方式
RTMP 協議規定,發佈一個媒體流之前需要創 建兩個邏輯結構: 第一步,建立一個網絡連接( Net- Connection) ; 第二步,基於該網絡連接建立一個網絡 流( NetStream) 。其中,網絡連接代表服務器端和客戶端之間基礎的聯繫; 網絡流代表了發送多媒體數 連接,但是基於該連接可以創建很多網絡流。他們據的通道。服務器和客戶端之間只能建立一個網絡 的關係如下圖所示:
6 基於 RTMP 的直播系統的搭建
1系統結構
本文將會實現一個基於 RTMP 協議的流媒體直 播系統。一個完整的流媒體直播系統包括以下幾個 部分: 視頻源,流媒體服務器和客戶端,系統的構成如下圖所示。視頻源將視頻數據經過 RTMP 協議發 布到流媒體服務器上; 視頻成功發佈以後,客戶端通 過 RTMP 連接到流媒體服務器,就可以播放相應的 視頻。其中,視頻源和客戶端都是使用 ActionScript 語言編寫的 Flash 程序[10],流媒體服務器使用 Ado- be 公司的 Flash Media Server 軟件。
2視頻源
視頻源是一個提供視頻流的應用程序。本系統 中使用一個 ActionScript 代碼編寫的 Flash 程序作為 視頻源。該程序採集本機攝像頭數據,將數據壓縮 編碼後使用 RTMP 協議將數據發佈到流媒體服務器 相應的應用程序( Application) 上面。
下面簡要介紹一下視頻源部分重要代碼含義:
010203040506070809101112// 建立一個 RTMP 網絡連接var nc: NetConnection = new NetConnection( ) ; //連接到 IP 為 222. 31. 64. 249 的流媒體服務器上名字為 publishlive 的應用程序 nc.connect("rtmp://222.31.64.249/publish-live" ) ;// 建立一個基於該連接的網絡流ns = new NetStream( nc) ; // 調用本機的攝像頭cam = Camera. getCamera( ) ;// 把攝像頭添加到新建的流上 ns. attachCamera( cam) ;//把一個多媒體流發佈到服務器的應用程序 上,取名為“myCamera”ns. publish( " myCamera" ," live" ) ;
3流媒體服務器
流媒體服務器是存儲( 或接收) 媒體流並且等 待客戶端連接的軟件。本系統採用 Adobe 公司的 Flash Media Server 作為流媒體服務器。媒體流必需 發佈到已經在流媒體服務器上註冊過的應用程序 上。在 Flash Media Server 的 安 裝 目 錄 的“Applica- tion”文件 夾 下 新 建 一 個“publishlive ”文 件 夾,即 可 註冊一個名為“publishlive”的應用程序,不需要編寫 任何代碼。
4客戶端
客戶端是播放視頻流的應用程序。本系統採用一個 ActionScript 語言編寫的 Flash 程序作為播放實時流的客戶端。使用 RTMP 協議從流媒體服務器獲 得視頻數據並顯示播放。
下面簡要介紹一下客戶端的部分關鍵代碼的含義：
0102030405060708091011121314// 建立一個 RTMP 網絡連接var nc: NetConnection = new NetConnection( ) ;//連接到 IP 為 222. 31. 64. 249 的流媒體服務 器上名字為 publishlive 的應用程序nc.connect( "rtmp://222.31.64.249/publish- live" ) ;// 建立一個基於該連接的多媒體流 nsPlayer = new NetStream( nc) ;// 播放名為“myCamera”的多媒體流 nsPlayer. play( " myCamera" ) ;// 新建一個 Video 對象用於顯示視頻vidPlayer = new Video ( cam. width,cam.height) ;// 將多媒體流添加到 Video 類上vidPlayer. attachNetStream( nsPlayer) ; // 在 Flash 舞臺上顯示 Video 對象addChild( vidPlayer) ;
7 小結和展望
本文分析了流媒體的兩種基本傳輸方式: 順序 流式傳輸和實時流式傳輸的區別。並重點分析了幾 種主要的實時流式傳輸協議的特點。以 RTMP 協議 為基礎,分析了它的特點和格式,最後實現了一個的 基於 RTMP 協議的流媒體直播系統。對於全面瞭解 RTMP 協議的原理有很大的幫助,同時可以為設計 與實現更為複雜的基於 RTMP 協議的流媒體系統提 供一個參考。
今年以來,隨著互聯網電視( Over - The - Top TV) 逐漸興起,流媒體技術將會隨之迎來一個大發 展階段。可以預見,以流媒體技術為支撐的流媒體 在未來將會佔據傳統電視的部分市場並獲得相當數量的客戶群。而不需要用戶安裝客戶端,視音頻質 量良好的基於 RTMP 協議的流媒體系統,也將會在 眾多流媒體系統中凸現出來,獲得很大的市場份額。
喜歡的朋友可以後臺私信【1】獲取學習視頻
附上一份音視頻學習課程大綱給大家
閱讀更多 開心玩技術 的文章
