---

2022.06. 이장재 📧 [email protected] 📂 https://github.com/jangjaelee 📒 http://www.awx.kr

---

 

What is Redis?

Redis(Remote Dictionary System)는 모든 데이터를 디스크를 거치지 않고 메모리(in-memory)로 불러와서 처리하며, 메모리 기반의 key-value 구조의 비정형 데이터(unstructured data)를 저장하고 관리하기 위한 오픈 소스 기반의 비구조화 쿼리 언어(NoSQL)을 지원하는 비관계형 데이터베이스 관리 시스템(non-RDBMS)입니다.

또한, Redis는 in-memory 데이터 저장소는 database, cache, message broker 그리고 streaming engie으로 사용되고 있습니다.

2009년 Salvatore Sanfilippo(살바토르 산필리포)에 의해 ANSI C로 작성 되었으며, Linux, BSD 그리고 MacOS와 같은 대부분의 POSIX 시스템에서 외부 종속성 없이 작동 합니다.

2015년 부터 Redis Labs에서 지원하고 있으며, BSD License를 따름

Redis Overview

Redis는 replication, Lua scripting, LRU eviction, transactions 그리고 다양한 수준의 on-disk persistence 기능을 내장하고 있습니다. 그리고 Redis Sentinel을 통한 고가용성(High Availability) 및 Redis Cluster를 통한 자동 파티셔닝을 제공

Redis Data Structures

[출처] https://askmiddlewareexpert.com/redis-introduction/

• Strings
• Sets
• Sorted Sets
• Lists
• Hashes
• Bitmaps
• HyperLogLogs
• Geospatial indexes
• Streams
• Pub/Sub

 

Redis Replication vs Sharding

Redis는 두 가지 데이터 공유 유형 replicaiton(mirroring 이라고도 함)을 통해 데이터 복제와 sharding(partitioning 이라고도 하며)을 통해 데이터 분할을 지원 합니다. 그리고 Redis Cluster는 두 가지 방법을 동시에 사용 가능합니다.

Replication

하나 이상의 슬레이브 노드에 대한 요청을 허용하고 해당 노드 중 일부가 다운될 경우 데이터 지속성을 유지하여 고가용성을 제공하는 클러스터의 전체 Redis 노드를 처리하는 데이터입니다. 이 접근 방식을 사용하면 읽기 요청이 더 빨라집니다.

• Replication 링크(https://redis.io/docs/manual/replication/)
• Redis Cluster master-replica model 링크(https://redis.io/docs/manual/scaling/#redis-cluster-master-replica-model)

Sharding

데이터 분할을 사용하면 모든 데이터가 몇 부분으로 분할되고 데이터의 일부만 저장하고 모든 요청을 처리하지 않으므로 각 노드의 성능이 향상 됩니다. 이 접근 방식을 사용하면 쓰기 요청이 더 빨라집니다.

• Redis Cluster data sharding 링크(https://redis.io/docs/manual/scaling/#redis-cluster-data-sharding)

 

Redis Sentinel vs Cluster

Sentinel

Redis v2.4부터 지원하는 기능으로 기본적으로 master와 replicas에 대한 모니터링 서비스 입니다.

또한, 알림(notification)을 보내고 master가 다운된 경우 자동으로 master와 replica의 역할을 전활할 수 있습니다.

Redis Cluster 없이 master-replica replication 구조로 사용될 때 사용되며, sentinel binary 사용하거나 또는 redis-server의 sentinel mode에서 dedicated daemon으로 작동합니다.

새로운 마스터 선출을 위한 쿼럼을 가지고 있으며 Redis node 중 하나가 다운되는지 결정하기위해 최소 3개의 Sentinel instance가 요구됩니다.

Cluster

Redis v3.0부터 지원하는 기능으로 분할, 복제 및 노드 관리를 위한 Redis Cluster 솔루션 입니다.

데이터를 자동으로 여러 개의 Redis node에 분할하여 저장하는 방법과 각 nodes의 데이터 복제를 수행하고 일부 노드가 다운되거나 통신지 단절되더라도 작업을 계속할 수 있는 가용성 및 접근 지속성을 제공합니다. 단 과반수의 master node가 죽는 경우는 Cluster 동작이 중단 됩니다.

 

Redis Operation Mode

[출처] https://loosie.tistory.com/820

Redis Standalone(One Redis instance)

말 그대로 Redis를 단일 인스턴스로 동작시키는 방법입니다.

• 장점
  • 가장 단순하고 기본적인 설정이며 실행 및 구성이 간단함
• 단점
  • 단일 Redis instance가 다운되는 경우 모든 종속 서비스가 중단되며 가용성 또는 내결함성이 제공되지 않음
  • 수직으로만 확장 가능하여 호스트의 리소스(CPU 및 메모리)에 의해 제한이 발생

Redis Replication(master-replica)

실제 운영 환경에서 Cache 인스턴스를 하나만 두는 것은 위험하기 때문에 2개의 인스턴스를 사용하여 master-replica 관계를 구축하여 데 데이터를 단순히 복제시키는 방법입니다.

Master에서 데이터 읽기쓰기가 발생하면 비동기(asynchronous) 방식으로 replica에 데이터를 복제하며, 복제본은 서로 통신하지 않습니다.

• 장점
  • 설정 및 구설이 간단함
  • 항상 최신 데이터 스냅샷을 보유하고 있음
• 단점
  • 쓰기(write) 작업은 master에 의해 제한됨
  • master가 다운되는 경우 복원을 위해서는 수동으로 replica를 재구성하고 replica를 master 역할로 변경해야함
  • replica(복제본)의 활용성이 떨어짐

Redis Sentinel

Replication(master-replica)와 유사하지만 Sentinel mode는 master node가 종료되면 replica가 자동으로 master로 선출하여 node를 승격시키고 자동 Failover를 진행합니다.

• 장점
  • Redis-Sentinel은 Redis binary에 내장되어 설정이 쉬움
  • 매우 안정적이며 자동 복원력 및 고가용성 제공
• 단점
  • 최소 3개의 Sentinel instances가 필요(master 선출할 때 다수결 투표를 하기 위함)
  • 방화벽 사용시 Sentinels 간의 통신을 위해 방화벽을 구성을 해야함
  • client가 Redis-Sentinel을 반드시 지원해야 sentinel 상태와 모니터링 및 마스터 정보를 조회할 수 있음

Redis Cluster

Redis Cluster는 Redis가 자체적으로 지원하는 클러스터링 시스템으로 여러 Redis node에 데이터를 자동으로 sharding 해주는 기술입니다.

또한, 전체 노드 중 일부에 장애가 발생하거나 나머지 클러스터와 통신할 수 없는 경우에도 조작할 수 있는 기능을 제공하며, 분산 스토리지를 구현하고 단일 장애 지점(SPOF)를 방지합니다.

• 장점
  • 클러스터 단위의 고가용성(HA) 구성 (Master Cluster / Replica Cluster)
  • 최대 1,000대 까지 확장성을 제공
  • 데이터는 슬롯 저장에 따라 여러 노드에 분산되어 있으며, 노드 중 데이터 공유 및 분포는 동적으로 조정 가능
  • 운영 및 유지 관리 비용을 줄이고 시스템 확장성과 가용성이 향상됨
• 단점
  • 안정적인 클러스터를 위해서는 최소 6개의 nodes가 필요 (3개 이상의 master, 3개 이상의 replica)
  • 균일한 복원력을 가지려면 마스터당 동일한 수의 복제본이 필요
  • 데이터는 비동기 방식으로 복제되며 강력한 데이터 일관성을 보장하지는 않음
  • Redis Cluster를 지원하는 client를 사용해야 shard에 맞는 데이터 접근이 가능
  • Redis Cluster는 오직 0번 데이터베이스만 사용 가능(단일 인스턴스 처럼 0~15의 복수의 데이터베이스 사용 불가)

📖  Redis replication vs sharding, sentinel vs cluster, topology는 이 포스트링크(https://www.notion.so/Redis-Operator-for-Redis-Sentinel-by-spotahome-b8f56625ac8d497d8908b352f240b170)의 내용을 번역 했습니다.

 

What is Redis Operator for Kubernetes?

Redis Operator는 custom resource에 대한 custom controller 역할을 하며, Redis Server는 K8s CRD(custom resource definition)를 통해 정의되고 YAML파일과 함께 배포됩니다.

Kubernetes Cluster에서 사용 가능한 Redis Operator는 다양한 종류가 있으며 Open Source로 사용가능한 Redis Community와 Redis Labs의 Redis Enterprise를 지원하는 Operator가 각각 있습니다.

Redis Community에서 주로 사용 가능한 Redis Operator는 두개가 있으며, Spotahome의 Redis Sentinel을 지원하는 것과 Opstree의 Redis Cluster를 지원하는 것이 있습니다.

• Redis Community

  • Redis Operator for Redis Sentinel (by spotahome) - GitHub 링크(https://github.com/spotahome/redis-operator)

    

  • Redis Operator for Redis Cluster (by opstree) - GitHub 링크(https://github.com/OT-CONTAINER-KIT/redis-operator), Doc 링크(https://ot-container-kit.github.io/redis-operator/)

    

 

• Redis Enterprise

  • Redis Enterprise Operator - GitHub 링크(https://github.com/RedisLabs/redis-enterprise-k8s-docs), Doc 링크(https://docs.redis.com/latest/kubernetes/architecture/operator/)

    

 

Kakao에서는 Kubernetes 위에 Redis Cluster를 구축하기 위한 kredis Operator 개발하여 사용하기도 합니다.

• Kakao가 Kubernetes에 Redis Cluster를 Operator로 개발하여 구축한 사례 kredis 링크(https://tech.kakao.com/2022/02/09/k8s-redis/)
  • 데모 시연 동영상 - https://tv.kakao.com/channel/3693125/cliplink/423589917

오픈 소스 Redis Operator는 실제 각 제작사에서 Production 환경에서 사용하고 있다고 하지만 Production 환경에서 도입을 위해서는 충분한 테스트가 필요하며 도입시 발생하는 책임과 배상에 대한 권리 및 의무는 사용자에게 있음을 알립니다.

 

Reference

• Redis 소개 및 기본 개념 정리 링크(https://ryu-e.tistory.com/9)
• Redis Cluster 시작하기 링크(https://sup2is.github.io/2020/07/22/redis-cluster.html)
• Redis Architecture Overview 링크(http://redisgate.kr/redis/configuration/redis_overview.php)
• Redis Sharding 링크(https://cla9.tistory.com/102)
• Redis replication vs sharding, sentinel vs cluster, topology 링크(https://rtfm.co.ua/en/redis-replication-part-1-overview-replication-vs-sharding-sentinel-vs-cluster-redis-topology/)
• Redis Cluster: Architecture, Replication, Sharding and Failover 링크(https://blog.opstree.com/2019/10/22/redis-cluster-architecture-replication-sharding-and-failover/)
• Redis sentinel & cluster 차이점 그리고 about Redis 링크(https://coding-start.tistory.com/128)
• Redis Operation Mode 링크(https://blog.octo.com/en/what-redis-deployment-do-you-need/)
• Redis Cluster Tutorial 링크(https://medium.com/garimoo/redis-documentation-2-%EB%A0%88%EB%94%94%EC%8A%A4-%ED%81%B4%EB%9F%AC%EC%8A%A4%ED%84%B0-%ED%8A%9C%ED%86%A0%EB%A6%AC%EC%96%BC-911ba145e63)
• Redis Cluster를 사용하는 5가지 방법 및 장단점 비교 분석 링크(https://daydaynews.cc/en/technology/321901.html)
• Redis 운영 방식 : Cluster vs Sentinel 어떤 것을 선택해야 할가? 링크(https://velog.io/@always/Redis-운영-방식-Cluster-vs-Sentinel-어떤-것을-선택해야-할까)
• 우아한 Redis 리뷰 링크(https://velog.io/@litien/%EB%A6%AC%EB%B7%B0-%EC%9A%B0%EC%95%84%ED%95%9C-Redis)

 

END