Apache Kafka Cluster - up1/training-courses GitHub Wiki

กรอบการติดตั้งระบบ Apache Kafka และการ Monitoring

1. เตรียมโครงสร้างพื้นฐานและติดตั้ง Apache Kafka Cluster (Minimum High Availability) => 1-2 วัน

  • ติดตั้ง Apache Kafka with KRaft mode จำนวน 2 เครื่อง
    • ในแต่ละเครื่องประกอบไปด้วย Kafka broker และ Controller
  • ติดตั้งระบบ Monitoring ของ Apache Kafka จำนวน 1 เครื่อง
    • Prometheus
    • Grafana
  • ติดตั้งผ่าน Docker

2. Configuration และ ทดสอบ Apache Kafka => 1-2 วัน

  • Kafka broker
  • Create Topics
    • Produce and consume message
  • Performance testing

3. Config monitoring system สำหรับ Apache Kafka => 1-2 วัน

  • Tools
    • Prometheus
    • Grafana
    • Open Telemetry
  • Broker
  • Topic
    • Number of message-in/out
    • Latency of message
    • Customer group
  • Basic monitoring
    • CPU usage
    • Memory usage

4. Configuration และ ทดสอบระบบ Monitoring => 1-2 วัน

  • Kafka Exporter
  • JME Exporter
  • สร้าง Grafana dashboard
    • Custom from requirement
  • ทดสอบ จัดเก็บข้อมูล และ แสดงผลในระบบ Dashboard
  • สร้าง Rule และการ Alert ในกรณีต่าง ๆ ตาม requirement

5. ทดสอบแบบ End-to-End => 1-2 วัน

  • ทดสอบการทำงานของ Apache Kafka และ ระบบ Monitoring
  • ทดสอบสถานการณ์ต่าง ๆ เช่น การ load ที่สูง และ ระบบล่ม เป็นต้น

6. จัดทำเอกสาร และ การ training => 2-3 วัน

  • เอกสารการติดตั้ง Apache Kafka
  • เอกสารการติดตั้งระบบ Monitoring
  • ตัวอย่างของ code ในการใช้งาน Apache Kafka
  • Training course สำหรับผู้ดูแลระบบ และ ทีมพัฒนา