分佈式的消息系統Kafka 0.10 常用運維命令

引言

Kafka是由LinkedIn開發的一個分佈式的消息系統,它以可水平擴展和高吞吐率而被廣泛使用,現在已經是Apache的項目。

Kafka系統自帶了豐富的運維管理工具,都是基於命令行的,本文主要介紹一些常用的命令。

讀者需要對Kafka已經有入門級的瞭解。

常用命令

以下命令都是在Kafka的主目錄下執行的。

啟動Kafka

啟動命令需要指定配置文件

bin/kafka-server-start.sh config/server.properties

默認的啟動方式並不是守護進程,可以添加'nohup'和'&'讓進程保持在後臺運行,即使斷開SSH終端連接。

nohup bin/kafka-server-start.sh config/server.properties > ~/kafka-server-start.out 2>&1 &

topic 相關

列出 topic

bin/kafka-topics.sh --list --zookeeper localhost:2181

--zookeeper:指定zookeeper地址。

創建 topic

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 4 --topic test_topic

--replication-factor:備份數,就是數據保存幾份,這裡設置為3,表示該topic的數據會在3個節點上各保存一份。

--partitions:分區數

topic 詳情

bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test_topic

刪除 topic

bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test_topic

需要開啟一個配置項才可以刪除topic。

配置項在server.properties中: delete.topic.enable = true

ps: 有個特殊的topic叫 __consumer_offsets,是Kafka內部使用的,不允許刪除的。

生產者消費者相關

生產者

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test_topic

--broker-list:kafka broker地址

消費者

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test_topic

分區相關

增加分區

bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic test_topic --partitions 4

--partitions:指明將分區增加至多少個。 分區不能減少只能增加。

改變分區分佈和副本數

bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file test_topic.json --execute

--reassignment-json-file:指定一個分區方案文件。

分區方案文件是一個json格式的文本文件,需要自己編寫。

舉個例子,test_topic.json內容如下:

{
"version": 1,
"partitions": [
{
"topic": "test_topic",
"partition": 0,
"replicas": [1,2]
},
{
"topic": "test_topic",
"partition": 1,
"replicas": [2,3]
},
{
"topic": "test_topic",
"partition": 2,
"replicas": [3,1]
},
{
"topic": "test_topic",

"partition": 3,
"replicas": [1,2]
}
]
}

解釋其中一部分,剩下的自然也會明白。

"topic": "test_topic", //topic名稱
"partition": 0, //分區編號,從0開始
"replicas": [1,2] //指定保存在哪個broker,這裡是填寫broker id。寫兩個id,意思就是有兩份備份啦。

PS:這個方法不能用來增加分區數。第一個replicas就是默認leader。

改變分區和備份數的操作並不能立即完成,而是需要一段時間,內部操作會在後臺運行。 所以需要...關注、轉發、評論頭條號每天分享java 知識,私信回覆“555”贈送一些Dubbo、Redis、Netty、zookeeper、Spring cloud、分佈式資料

檢查進度

bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file test_topic.json --verify


分享到:


相關文章: