2019 年即將落下帷幕,這一年對於 Apache Flink 來說是非常精彩的一年,里程碑式的一年。隨著這一年在郵件列表發送了超過 1 萬封郵件,JIRA 中超過 4 千個 tickets,以及 GitHub 上超過 3 千個 PR,Apache Flink 迎來了快速的發展。筆者作為一名全職在 Flink 社區工作的成員,表示想要跟上社區的最新狀態著實不太容易。
本文筆者將帶大家一起回顧下 Flink 所經過的 2019 年,感受 Flink 蓬勃發展的同時,我們也將展望 2020 年。
Tips:文末有福利,不要錯過哦~
大事記
筆者整理了 2019 年對於 Flink 社區而言發生的一些大事件(如有遺漏,敬請諒解)。
2019 年初,一篇阿里巴巴正式向 Apache Flink 貢獻 Blink 源碼的新聞點燃了社區,這也是 Apache Flink 在這一年能有如此快速發展的關鍵,此事件也直接加速了許多用戶期待已久的功能快速落地,如 Hive 集成、更好的 Python 支持,高性能的批處理等等。
這一年,Apache Flink 保持著以往的快節奏,發佈了兩個大版本:Flink 1.8 和 Flink 1.9,以及即將發佈的 Flink 1.10。Flink 1.10 已經進入了測試階段,並有望於春節前與大家見面。Flink 1.9 和 Flink 1.10 是社區迄今為止所經歷過的最大版本(見下圖),從解決的 issue 數和提交的 commit 數上看,1.9 與 1.10 都已經達到了以前版本的兩倍之多,而且也可以預見未來 Flink 還將保持著如此高速發展的態勢。同時單版本的貢獻者數量也在穩步增長中,說明越來越多的開發者加入到了社區中。值得一提的是,阿里巴巴通過 1.9 和 1.10 兩個版本,歷經 1 年左右將 Blink 中比較通用的部分都悉數回饋給了 Apache Flink 社區,回饋總代碼量一百多萬行。從郵件討論與代碼提交上看,國內貢獻者正扮演者越來越重要的作用。
除此之外,Flink GitHub 倉庫的 Star 數也早在 8 月份就突破了 1 萬的里程碑。並且僅 2019 年一年的時間,Star 數就實現了翻番。
user@ 和 dev@ 郵件列表的活動表明了社區非常活躍,並且 user-zh@ 雖然年初才投入使用但也正在變得越來越活躍。從 2018 年同期的數字來看,dev@ 郵件列表的活動量激增最快,郵件和獨立用戶的數量平均增長了 2.5 倍,這很好地反映了上文提到的 Flink 代碼庫的極度活躍。
從 Apache 軟件基金會在 2019 財年報告中,也能印證 Flink 的活躍,報告中提到 Flink:
- 最活躍的郵件列表(user@ + dev@):第一
- GitHub 訪問流量:第三
- 提交 commits 數:第五
與往年一樣,今年 Flink 社區在北美(舊金山)、歐洲(柏林)、亞洲(北京)三地分別舉辦了 Flink Forward 大會,其中北京場到會人次突破 2000,同比增加了100%。
在 11 月份,社區發佈了 Flink 生態網站(flink-packages.org),旨在推動圍繞 Apache Flink 的生態建設,用於收集三方包並方便用戶查找,包括連接器、類庫、擴展等等。希望 flink-packages.org 能成為社區用於探索 Flink 插件的地方,並讓專注於插件貢獻者們獲得用戶的認可,從而可持續地打造更好的 Flink 生態。
社區發展
隨著 Flink 社區貢獻量的猛增,社區在 2019 年也有條不紊地邀請了 6 位 PMC member 以及 8 位 Committer。
- 新增 Committers:Bowen Li,Andrey Zagrebin,Zili Chen,Hequn Cheng, Jiangjie (Becket) Qin, Rong Rong, Zhijiang Wang, Zhu Zhu。
- 新增 PMC member: Jincheng Sun, Kete (Kurt) Young, Kostas Kloudas, Thomas Weise, Jiangjie (Becket) Qin, Jark Wu。
今年 Flink 社區的一個亮點就是擁抱了中文社區。年初的時候,就建立了中文郵件列表,從上文的郵件列表活躍圖上也能看出國內用戶對於中文郵件列表的接受度還是很高的。在 5 月份的時候,Flink 中文學習網站(ververica.cn)上線了,與此同時,中文社區微信公眾號(Ververica)也同步上線。截止目前,微信公眾號訂閱量已突破一萬。
從另外的維度也能看出中文社區的熱情,在 Flink 官網(flink.apache.org)流量統計中,來自中國的流量佔了全部流量的 24% ,位列所有國家之首。下圖是 Flink 官網的流量分佈圖,圖中不僅反映了 2019 年的整體流量要遠高於往年,更有意思的是圖中標出的兩個流量波谷,其中第一個波谷正好是聖誕節,第二個更大的波谷恰好是中國的春節。從中也能看出中文社區影響力之大。
中文社區之所以能在國際開源項目中扮演越來越重要的作用,離不開這一年 Flink 中文社區的努力。據統計,Flink 中文社區在 2019 年共舉辦了 10 場 Meetup,橫跨了北上深杭等多個城市,其中最大的北京場超過了 500 人參加。並且出品了 36 場 Flink 中文直播課程,覆蓋了從基礎到進階到運維的各個方面,累積播放量達16萬多。在此感謝每一位講師以及工作人員為中文社區做出的貢獻!
展望 2020 年
Flink 1.10 版本即將在 2020 年初與大家見面,1.10 版本可以看作一個比較重要的里程碑式版本,至此,Blink 功能都已經進入 Flink,包括 Blink 中比較關鍵的設計和通用的優化。該版本包含以下主要功能:
- SQL DDL 增強,支持在建表語句中定義計算列和 watermark。
- 生產級別的 Batch 支持與 Hive 兼容,其中 TPC-DS 10T 的性能是 Hive 3.0 的 7 倍。
- 更加強大的 Python 支持,支持 Python UDF。
- 支持原生 K8S 集成。
- 新增多個主流機器學習算法庫,包括邏輯迴歸,隨機森林,KMeans 等。
隨著 Blink 的核心功能都已逐步貢獻到 Flink,相信我們對 Flink 的未來有了更多的期盼,期盼 Flink 在 2020 年能帶給我們更多的驚喜,當然這離不開社區中每一位同學的努力,也希望能有更多的人加入到社區中!
閱讀更多 阿里云云棲號 的文章