Course :: Apache Kafka workshop - up1/training-courses GitHub Wiki

Course Apache Kafka workshop

จำนวน 2 วัน

Software requirement

  • Docker
  • VSCode

Outline

Section 1 :: Fundamental

  • Introduction to Apache Kafka
    • Why, What ?
    • Use cases
  • Architecture ของ Apache Kafka
    • Broker
    • Apache Zookeeper
    • Kraft controller
    • Topic
      • Partition
      • Replica
      • Read offset and write offset
    • Producer
    • Consumer
      • Consumer group

Section 2 : For operation

  • การติดตัั้ง Apache Kafka Cluster
    • Apache Kafka With Apache Zookeeper
    • Apache Kafka Without Apache Zookeeper
      • KRaft
  • Monitoring system of Kafka Cluster
    • Logging, Metric and Tracing
    • Tools
      • OpenTelemetry
      • Prometheus
      • Grafana

Section 3 : For architecture, design and development

  • การออกแบบการใช้งาน Apache Kafka ให้เหมาะสม
    • Sharing data ระหว่าง service
    • Event-based architecture
    • การสร้าง topic
    • การใช้งานทั้ง producer และ consumer
    • การ monitor การทำงานของระบบ เช่น flow ของ message/event ในระบบงาน
    • การใช้งาน consumer group
    • การ routing message
  • การออกแบบ หรือ schema ของ message/event
    • design
    • validate schema
  • การพัฒนาระบบงาน
    • Producer สำหรับการสร้างและส่ง message
      • Acks
      • Retry
      • Message compression
      • Batching process
      • Default Partitioner & Sticky Partitioner
    • Consumer สำหรับการรับและ process message
      • Delivery Semantics for Kafka Consumers
      • Kafka Consumer Important Settings: Poll and Internal Threads Behavior
      • Consumer Auto Offsets Reset Behavior
      • Consumer Read from Closest Replica
      • Consumer Incremental Rebalance & Static Group Membership