Foundational RabbitMQ

RabbitMQ는 분산 소프트웨어 아키텍처를 위한 가볍고 강력한 도구이다.

RabbitMQ의 기능과 장점

• Open source
  • Mozilla Public license
  • commercial support by Pivotal
• Platform and vendor neutral
  • AMQP(Advanced Message Queuing Protocol) specification
• Lightweight
  • 40MB보다 적은 메모리를 사용(플러그인 포함 / 큐에 적재된 메시지 미포함)
• Client libraries for most modern languages
  • 대부분의 언어 지원
  • 다른 Runtime 애플리케이션 사이에서 데이터 공유 시, RabbitMQ를 유용하게 이용할 수 있음 JAVA <—> RabbitMQ <—> .NET
• Flexibility in controlling messaging trade-offs
  • 시스템의 특성에 따른 신뢰성과 성능 간에 트레이드 로프를 유연하게 조정 가능
    • 신뢰성을 높인다면?
      • 장애 복구 시 메시지 복원을 위해 메시지를 디스크에 저장
      • HA 구성을 위해 큐를 복수 개의 서버에 복제
    • 성능을 높인다면?
      • Disk I/O를 줄이기 위해 메시지를 메모리에만 저장
      • 메시지 복제시 사용되는 시간과 리소스를 줄이기 위해 단일 서버에 큐 구성
• Plugins for higher-latency environments
  • Multiplexes 지원을 위함?
    • 하나의 TCP Connection에서 여러 Channel을 스레드당 할당하여 사용하는 기술
    • Connection이나 Channel을 반복적으로 열고 닫고 하지 않기 위해 long-lived connection 사용
• Third-party plugins
  • 유연한 플러그인 시스템 제공
• Layers of security
  • SSL 통신 기반의 암호화 제공 (TLS support)
  • virtual-host라는 메시지와 자원 격리를 위한 high-level 제공 (host간에 논리적 공간 분리)
  • LDAP과 같은 외부 인증 시스템 통합을 위한 플러그인 제공

RabbitMQ와 Erlang

• RabbitMQ written in Erlang
  • Functional programming language
  • designed to be a distributed, fault-tolerant, soft real-time system for applications that require 99.999% uptime
  • focused on concurrent processing and message passing
    • concurrent processing → RabbitMQ의 메시지 브로커 (concurrent connections)
    • message passing → RabbitMQ의 메시지 라우팅
• RabbitMQ의 클러스터링 메커니즘

RabbitMQ와 AMQP

• AMQP 0-9-1, AMQP 1.0, MQTT, STOMP 지원
• AMQP 0-9-1 스펙을 확장하여 기능 제공

RabbitMQ를 사용하는 곳들

• Reddit: 온라인 커뮤니티

  • 유저 가입, 포스트 등록, 투표 기능에 사용

  

• 이 외 Game data & event, Sensor, Metric 수집시 사용

• 11st

  

느슨하게 결합된 아키텍처의 장점

AS-IS

TO-BE

Decoupling your application

• 애플리케이션의 성능이 DB(의 퍼포먼스)에 강하게 종속되어 있음

Decoupling database writes

• 유지보수를 위해 DB 오프라인 가능
• DB에 부하가 너무 심할 경우, consumer를 조정하여 throttling 가능

Seamlessly adding new functionality

Replication of data and events

• 기본 내장된 federation 플러그인을 이용하여, 다른 데이터 센터 간에 동일 데이터 유지 가능

Multi-master federation of data and events

The Advanced Message Queuing model

• AMQP의 스펙으로 인해 RabbitMQ는 유연하게 관리가 가능
• AMQ model에 존재하는 3가지 컴포넌트

  • Exchange - Publisher(Producer)로부터 수신한 메시지를 큐에 분배하는 라우터의 역할

    • Direct exchange: 바인딩 된 Queue 중에서 메시지의 라우팅 키와 매핑되어 있는 Queue로 메시지를 전달(1:1)
    • Fanout exchange: 메시지의 라우팅 키를 무시하고 Exchange에 바인딩 된 모든 Queue에 메시지를 전달(1:N)
    • Topic exchange: Exchange에 바인딩 된 Queue 중에서 메시지의 라우팅 키가 패턴에 맞는 Queue에게 모두 메시지를 전달(Multicast)
    • Headers exchange: 라우팅 키 대신 메시지 헤더에 여러 속성들을 더해 속성들이 매칭되는 큐에 메시지를 전달

    

  • Queue - 메시지를 메모리나 디스크에 저장했다가 Consumer에게 메시지를 전달하는 역할

  • Binding - Exchange와 Queue의 관계를 정의

    

    • RabbitMQ는 AMQP 스펙을 확장하여 exchange-to-exchange biding을 지원하여 다양한 방법으로 라우팅이 가능