Kafka Parallel Consumer 동적 Concurrency 변경 - jupark33/Spring GitHub Wiki

  • 파티션의 증설을 최소화하면서 Kafka Consumer 의 처리량 증설 필요시
  • Parallel Consumer 를 사용할 수 있음
  • Kafka Consumer의 처리량은 비즈니스 로직에 따라 결정되며,
  • 비즈니스 로직의 Target 이 DB라면 DB의 처리량에 따라 결정된다.
  • DB의 사용량은 주간에 높아지며 이외의 시간에는 낮아지므로 해당 추세에 맞춰서
  • Parallel Consumer 의 처리량을 조절하면 된다.
  • Parallel Consumer 에는 Concurrency 수치를 설정할 수 있으며 해당 값에 따라 최대 Thread 가 생성되며
  • Topic 병렬 Consuming에 사용된다.
    Kafka Parallel Consumer 동적 Concurrency 변경