Flink流處理應用在IDEA中的執行流程分析

Flink流式計算的核心概念就是將數據從輸入流一個個傳遞給operator進行鏈式處理,最後交給輸出流的過程。對數據的每一次處理在邏輯上成為一個operator(算子)。

Flink流處理應用在IDEA中的執行流程分析


Flink經典示例WordCount流處理應用-整個執行流程如下圖所示:

Flink流處理應用在IDEA中的執行流程分析

第1~4步:main方法讀取文件,增加算子;

第5步:產生StreamGraph,從而可以得到JobGraph,即將Stream程序轉換成JobGraph;

第6~8步:LocalEnvironment 是本地執行任務的環境,負責啟動MiniCluster,在本地執行Flink任務。MiniCluster可以看做是內嵌的Flink運行時環境,所有的組件都在獨立的本地線程中運行。MiniCluster的啟動入口在LocalStreamEnvironment#execute(jobName)中。

第9~12步:執行job;

第13步:關閉執行流程;


分享到:


相關文章: