使用 DataFlux 采集 Kafka 监控指标并展示

DataFlux是上海驻云自研发的一套大数据统一分析平台,可以通过对任何来源、类型、规模的实时数据进行监控、分析和处理,释放数据价值。

DataFlux包含五大功能模块:

- Datakit 采集器

- Dataway 数据网关

- DataFlux Studio 实时数据洞察平台

- DataFlux Admin Console 管理后台

- DataFlux.f(x) 实时数据处理开发平台

使用 DataFlux 采集 Kafka 监控指标并展示

面向企业提供全场景的数据洞察分析能力, 具有实时性、灵活性、易扩展、易部署等特点。

安装DataKit

PS:以Linux系统为例

第一步:执行安装命令

DataKit 安装命令:

<code>

DK_FTDATAWAY

=[你的 DataWay 网关地址] bash -c

"$(curl https://static.dataflux.cn/datakit/install.sh)"

/<code>

补充安装命令中的 DataWay 网关地址,然后复制安装命令到主机上执行即可。

例如:如果的 DataWay 网关地址 IP 为 1.2.3.4,端口为 9528(9528为默认端口),则网关地址为

<code>

DK_FTDATAWAY

=http://

1.2

.

3.4

:

9528

/v1/write/metrics bash -c

"$(curl https://static.dataflux.cn/datakit/install.sh)"

/<code>

安装完成后,DataKit 默认会自动运行,并且会在终端中提示 DataKit 的状态管理命令

使用 DataFlux 采集 Kafka 监控指标并展示

Kafka 监控指标采集

采集 kafka 指标上报到 DataFlux 中

前置条件

  • 已安装 DataKit(DataKit 安装文档)
  • 已配置 Jolokia 指标采集

配置

打开 DataKit 采集源配置文件夹(默认路径为 DataKit 安装目录的 conf.d 文件夹),找到 jolokia2_agent文件夹,打开里面的 jolokia2_agent.conf。

设置:

<code>

[[inputs.jolokia2_agent]]

name_prefix =

"kafka_"

urls = [

"http://localhost:8080/jolokia"

]

[[inputs.jolokia2_agent.metric]]

name =

"controller"

mbean =

"kafka.controller:name=*,type=*"

field_prefix =

"$1."

[[inputs.jolokia2_agent.metric]]

name =

"replica_manager"

mbean =

"kafka.server:name=*,type=ReplicaManager"

field_prefix =

"$1."

[[inputs.jolokia2_agent.metric]]

name =

"purgatory"

mbean =

"kafka.server:delayedOperation=*,name=*,type=DelayedOperationPurgatory"

field_prefix =

"$1."

field_name =

"$2"

[[inputs.jolokia2_agent.metric]]

name =

"client"

mbean =

"kafka.server:client-id=*,type=*"

tag_keys = [

"client-id"

,

"type"

]

[[inputs.jolokia2_agent.metric]]

name =

"request"

mbean =

"kafka.network:name=*,request=*,type=RequestMetrics"

field_prefix =

"$1."

tag_keys = [

"request"

]

[[inputs.jolokia2_agent.metric]]

name =

"topics"

mbean =

"kafka.server:name=*,type=BrokerTopicMetrics"

field_prefix =

"$1."

[[inputs.jolokia2_agent.metric]]

name =

"topic"

mbean =

"kafka.server:name=*,topic=*,type=BrokerTopicMetrics"

field_prefix =

"$1."

tag_keys = [

"topic"

]

[[inputs.jolokia2_agent.metric]]

name =

"partition"

mbean =

"kafka.log:name=*,partition=*,topic=*,type=Log"

field_name =

"$1"

tag_keys = [

"topic"

,

"partition"

]

[[inputs.jolokia2_agent.metric]]

name =

"partition"

mbean =

"kafka.cluster:name=UnderReplicated,partition=*,topic=*,type=Partition"

field_name =

"UnderReplicatedPartitions"

tag_keys = [

"topic"

,

"partition"

]/<code>

配置好后,重启 DataKit 即可生效

验证数据上报

完成数据采集操作后,我们需要验证数据是否采集成功并且上报到DataWay,以便后续能正常进行数据分析及展示

操作步骤:登录DataFlux——数据管理——指标浏览——验证数据是否采集成功

使用DataFlux实现数据洞察

根据获取到的指标项进行数据洞察设计,例如:

Kafka 性能监控视图

使用 DataFlux 采集 Kafka 监控指标并展示

DataFlux基于自研的DataKit数据(采集器)目前已经可以对接超过200种数据协议,包括:云端数据采集、应用数据采集、日志数据采集、时序数据上报、常用数据库的数据汇聚,帮助企业实现最便捷的IT 统一监控。

使用 DataFlux 采集 Kafka 监控指标并展示


分享到:


相關文章: