引言
Kafka是由LinkedIn開發的一個分佈式的消息系統,它以可水平擴展和高吞吐率而被廣泛使用,現在已經是Apache的項目。
Kafka系統自帶了豐富的運維管理工具,都是基於命令行的,本文主要介紹一些常用的命令。
讀者需要對Kafka已經有入門級的瞭解。
常用命令
以下命令都是在Kafka的主目錄下執行的。
啟動Kafka
啟動命令需要指定配置文件
bin/kafka-server-start.sh config/server.properties
默認的啟動方式並不是守護進程,可以添加'nohup'和'&'讓進程保持在後臺運行,即使斷開SSH終端連接。
nohup bin/kafka-server-start.sh config/server.properties > ~/kafka-server-start.out 2>&1 &
topic 相關
列出 topic
bin/kafka-topics.sh --list --zookeeper localhost:2181
--zookeeper:指定zookeeper地址。
創建 topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 4 --topic test_topic
--replication-factor:備份數,就是數據保存幾份,這裡設置為3,表示該topic的數據會在3個節點上各保存一份。
--partitions:分區數
topic 詳情
bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test_topic
刪除 topic
bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test_topic
需要開啟一個配置項才可以刪除topic。
配置項在server.properties中: delete.topic.enable = true
ps: 有個特殊的topic叫 __consumer_offsets,是Kafka內部使用的,不允許刪除的。
生產者消費者相關
生產者
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test_topic
--broker-list:kafka broker地址
消費者
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test_topic
分區相關
增加分區
bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic test_topic --partitions 4
--partitions:指明將分區增加至多少個。 分區不能減少只能增加。
改變分區分佈和副本數
bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file test_topic.json --execute
--reassignment-json-file:指定一個分區方案文件。
分區方案文件是一個json格式的文本文件,需要自己編寫。
舉個例子,test_topic.json內容如下:
{
"version": 1,
"partitions": [
{
"topic": "test_topic",
"partition": 0,
"replicas": [1,2]
},
{
"topic": "test_topic",
"partition": 1,
"replicas": [2,3]
},
{
"topic": "test_topic",
"partition": 2,
"replicas": [3,1]
},
{
"topic": "test_topic",
"partition": 3,
"replicas": [1,2]
}
]
}
解釋其中一部分,剩下的自然也會明白。
"topic": "test_topic", //topic名稱
"partition": 0, //分區編號,從0開始
"replicas": [1,2] //指定保存在哪個broker,這裡是填寫broker id。寫兩個id,意思就是有兩份備份啦。
PS:這個方法不能用來增加分區數。第一個replicas就是默認leader。
改變分區和備份數的操作並不能立即完成,而是需要一段時間,內部操作會在後臺運行。 所以需要...關注、轉發、評論頭條號每天分享java 知識,私信回覆“555”贈送一些Dubbo、Redis、Netty、zookeeper、Spring cloud、分佈式資料
檢查進度
bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file test_topic.json --verify