前言

本文将指导您如何配置 Kafka 集群的监控系统，使用 Prometheus 和 Grafana 进行数据可视化。该过程包括安装 Kafka exporter、配置 Prometheus 和 Grafana，以便有效监控 Kafka 集群的性能和状态。

环境准备

• 安装Prometheus与Grafana【# Docker 安装 Prometheus 和 Grafana】
• 安装kafka集群【# 最详细且简单的kafka集群搭建教程】

安装kafka exporter

1. 进入到安装kafka exporter的目录

2. 创建docker-compose.yaml文件，内容如下：

   注意：--kafka.server的内容替换为自己集群的IP端口

   version: '3.8'
   
   services:
     kafka-exporter:
       image: danielqsj/kafka-exporter
       container_name: kafka-exporter
       ports:
         - "9308:9308"
       command:
         - --kafka.server=10.0.0.87:9092
         - --kafka.server=10.0.0.81:9092
         - --kafka.server=10.0.0.82:9092
       restart: unless-stopped
       volumes:
         - /etc/localtime:/etc/localtime:ro
       environment:
         TZ: Asia/Shanghai
   

3. 执行命令启动kafka-exporter服务

   docker-compose up -d
   

配置Prometheus

1. 编辑prometheus.yaml配置文件，文件最后新增如下内容：

   注意：

   1. 缩进格式保持一致
   2. targets里面的内容替换为自己kafka-exporter的IP端口

       - job_name: "kafka"
         static_configs:
           - targets: ["10.0.0.87:9308"]
   

2. 重启prometheus服务

3. 验证prometheus中是否可以查看到kafka相关的信息

   

配置Grafana

面板ID号为: 7589

结语

至此，您已成功设置了 Kafka 集群的监控系统。您可以通过 Grafana 仪表板实时查看 Kafka 的性能指标，并据此进行调优和维护。这将极大地帮助您确保 Kafka 集群的健康和高效运行。