Kafka Connect
Kafka Connect是一種用於Kafka和其他數據系統之間進行數據傳輸的工具。
僅關注數據的複製，不處理其他任務和業務邏輯。
- Kafka connect有兩個概念，一個source，另一個是sink。source是把數據從一個系統拷貝到kafka裡，sink是從kafka拷貝到另一個系統裡。
- 可使用插件，獲取不同系統的數據。例如通過Debezium插件解析mysql的日誌，獲取數據。
- 支持集群，可以通過REST API管理Kafka Connect。
- 對數據的傳輸進行管理和監控。
Debezium
Debezium是一個開源的分佈式CDC（變更數據捕獲）系統，支持對接各種數據源，將上游已持久化的數據變更捕獲後寫入消息隊列，類似的CDC系統還有來自阿里巴巴開源的Canal。
- Debezium 是一個分佈式平臺，可將現有數據庫中數據轉換為事件流，應用程序可以立即響應數據庫中每一行的更新。
- Debezium 建立在Apache Kafka 之上，並提供用於監視特定DBMS的Kafka Connect連接器。
- Debezium 記錄數據庫表的行級別的變更事件，包括insert、update和delete操作。
訪問Kafka技術專欄，瞭解更多的技術細節和項目代碼。
分享到:
閱讀更多 軟件架構 的文章
