![阿里P8架構師談:分佈式消息Kafka的原理、基礎架構、使用場景](http://p2.ttnews.xyz/loading.gif)
Kafka簡介
Apache Kafka是分佈式發佈-訂閱消息系統,在 kafka官網上對 kafka 的定義:一個分佈式發佈-訂閱消息傳遞系統。 它最初由LinkedIn公司開發,Linkedin於2010年貢獻給了Apache基金會併成為頂級開源項目。Kafka是一種快速、可擴展的、設計內在就是分佈式的,分區的和可複製的提交日誌服務。
![阿里P8架構師談:分佈式消息Kafka的原理、基礎架構、使用場景](http://p2.ttnews.xyz/loading.gif)
Kafka基本架構
它的架構包括以下組件:
1、話題(Topic):是特定類型的消息流。消息是字節的有效負載(Payload),話題是消息的分類名或種子(Feed)名;
2、生產者(Producer):是能夠發佈消息到話題的任何對象;
3、服務代理(Broker):已發佈的消息保存在一組服務器中,它們被稱為代理(Broker)或Kafka集群;
4、消費者(Consumer):可以訂閱一個或多個話題,並從Broker拉數據,從而消費這些已發佈的消息;
上圖中可以看出,生產者將數據發送到Broker代理,Broker代理有多個話題topic,消費者從Broker獲取數據。
Kafka基本原理
我們將消息的發佈(publish)稱作 producer,將消息的訂閱(subscribe)表述為 consumer,將中間的存儲陣列稱作 broker(代理),這樣就可以大致描繪出這樣一個場面:
生產者將數據生產出來,交給 broker 進行存儲,消費者需要消費數據了,就從broker中去拿出數據來,然後完成一系列對數據的處理操作。
kafka 官方給出的圖:
多個 broker 協同合作,producer 和 consumer 部署在各個業務邏輯中被頻繁的調用,三者通過 zookeeper管理協調請求和轉發。這樣一個高性能的分佈式消息發佈訂閱系統就完成了。
圖上有個細節需要注意,producer 到 broker 的過程是 push,也就是有數據就推送到 broker,而 consumer 到 broker 的過程是 pull,是通過 consumer 主動去拉數據的,而不是 broker 把數據主懂發送到 consumer 端的。
Zookeeper在kafka的作用
(1)無論是kafka集群,還是producer和consumer都依賴於zookeeper來保證系統可用性集群保存一些meta信息。
(2)Kafka使用zookeeper作為其分佈式協調框架,很好的將消息生產、消息存儲、消息消費的過程結合在一起。
(3)同時藉助zookeeper,kafka能夠生產者、消費者和broker在內的所以組件在無狀態的情況下,建立起生產者和消費者的訂閱關係,並實現生產者與消費者的負載均衡。
Kafka的特性:
1.高吞吐量、低延遲
kafka每秒可以處理幾十萬條消息,它的延遲最低只有幾毫秒,每個topic可以分多個partition, consumer group 對partition進行consume操作。
2.可擴展性
kafka集群支持熱擴展
3.持久性、可靠性
消息被持久化到本地磁盤,並且支持數據備份防止數據丟失
4.容錯性
允許集群中節點失敗(若副本數量為n,則允許n-1個節點失敗)
5.高併發
支持數千個客戶端同時讀寫
Kafka的使用場景:
1.日誌收集
一個公司可以用Kafka可以收集各種服務的log,通過kafka以統一接口服務的方式開放給各種consumer,例如hadoop、Hbase、Solr等。
2.消息系統
解耦和生產者和消費者、緩存消息等。
3.用戶活動跟蹤
Kafka經常被用來記錄web用戶或者app用戶的各種活動,如瀏覽網頁、搜索、點擊等活動,這些活動信息被各個服務器發佈到kafka的topic中,然後訂閱者通過訂閱這些topic來做實時的監控分析,或者裝載到hadoop、數據倉庫中做離線分析和挖掘。
4.運營指標
Kafka也經常用來記錄運營監控數據。包括收集各種分佈式應用的數據,生產各種操作的集中反饋,比如報警和報告。
5.流式處理
比如spark streaming和storm
ActiveMQ、Kafka、RabbitMQ消息系統的對比
更多阿里P8架構師談:架構設計16精講(關注後即可查看)
閱讀更多 優知學院 的文章