🙈

Redis Cluster

Intro::

Redis Cluster에 대한 정리본입니다.

Redis Cluster 란??

Redis 클러스터는 Redis의 분산 버전으로, 데이터를 여러 노드에 분산 저장하여 고가용성과 확장성을 제공하는 기능입니다. Redis 클러스터는 여러 Redis 인스턴스를 하나의 클러스터로 구성하여 데이터를 자동으로 샤딩하고, 노드 장애 시 자동으로 복구합니다.

특징

자동 샤딩:

•

Redis 클러스터는 데이터를 자동으로 여러 노드에 분산 저장합니다. 이는 데이터를 균등하게 분배하여 각 노드의 부하를 줄입니다.

고가용성:

•

클러스터 내의 각 노드는 주 노드(마스터)와 보조 노드(슬레이브)로 구성됩니다. 마스터 노드가 장애를 일으키면 슬레이브 노드가 자동으로 승격되어 마스터 역할을 수행합니다.

확장성:

•

노드를 추가하거나 제거하여 클러스터를 쉽게 확장할 수 있습니다. 이는 클러스터의 저장 용량과 처리 능력을 유연하게 조정할 수 있게 합니다.

노드 간 통신:

•

Redis 클러스터의 노드들은 서로 통신하며, 데이터 분산과 복제를 관리합니다.

파티셔닝:

•

데이터를 파티셔닝하여 각 노드에 분배합니다. Redis 클러스터는 해시 슬롯을 사용하여 데이터를 16384개의 슬롯에 매핑하고, 이를 노드에 분배합니다.

장점

높은 가용성:

•

노드 장애 시 자동으로 복구되므로 서비스의 가용성을 높일 수 있습니다.

수평적 확장:

•

노드를 추가하여 저장 용량과 처리 성능을 쉽게 확장할 수 있습니다.

자동 데이터 분배:

•

데이터를 자동으로 분산 저장하여 각 노드의 부하를 줄이고, 성능을 향상시킵니다.

고속 성능:

•

분산된 노드들이 병렬로 작업을 수행하므로, 높은 성능을 유지할 수 있습니다.

단점

복잡한 설정:

•

클러스터를 설정하고 관리하는 과정이 단일 인스턴스 Redis에 비해 복잡합니다.

네트워크 오버헤드:

•

노드 간 통신으로 인해 네트워크 오버헤드가 발생할 수 있습니다.

일관성 문제:

•

네트워크 분할 또는 노드 장애 시 일시적인 일관성 문제가 발생할 수 있습니다.

제한된 데이터 타입 지원:

•

특정 데이터 타입이나 명령어는 클러스터 모드에서 완전히 지원되지 않을 수 있습니다.

Dockerfile.redis

FROM redis:latest

CMD ["redis-server", "/usr/local/etc/redis/redis.conf"]
Bash
복사

Dockerfile.alpine

FROM alpine:latest

RUN apk add --no-cache redis
Bash
복사

redis.conf

port 6379
daemonize no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 3000
appendonly yes
requirepass 비밀번호
masterauth 비밀번
Bash
복사

docker-compose.yml

services:
  redis-master-1:
    container_name: redis-master-1
    build:
      context: .
      dockerfile: Dockerfile.redis
    ports:
      - "6379:6379"
    volumes:
      - redis-master-1-data:/data
      - ./redis.conf:/usr/local/etc/redis/redis.conf
    networks:
      - redis-cluster-net

  redis-master-2:
    container_name: redis-master-2
    build:
      context: .
      dockerfile: Dockerfile.redis
    ports:
      - "6380:6379"
    volumes:
      - redis-master-2-data:/data
      - ./redis.conf:/usr/local/etc/redis/redis.conf
    networks:
      - redis-cluster-net

  redis-master-3:
    container_name: redis-master-3
    build:
      context: .
      dockerfile: Dockerfile.redis
    ports:
      - "6381:6379"
    volumes:
      - redis-master-3-data:/data
      - ./redis.conf:/usr/local/etc/redis/redis.conf
    networks:
      - redis-cluster-net

  redis-slave-1:
    container_name: redis-slave-1
    build:
      context: .
      dockerfile: Dockerfile.redis
    ports:
      - "6382:6379"
    volumes:
      - redis-slave-1-data:/data
      - ./redis.conf:/usr/local/etc/redis/redis.conf
    networks:
      - redis-cluster-net

  redis-slave-2:
    container_name: redis-slave-2
    build:
      context: .
      dockerfile: Dockerfile.redis
    ports:
      - "6383:6379"
    volumes:
      - redis-slave-2-data:/data
      - ./redis.conf:/usr/local/etc/redis/redis.conf
    networks:
      - redis-cluster-net

  redis-slave-3:
    container_name: redis-slave-3
    build:
      context: .
      dockerfile: Dockerfile.redis
    ports:
      - "6384:6379"
    volumes:
      - redis-slave-3-data:/data
      - ./redis.conf:/usr/local/etc/redis/redis.conf
    networks:
      - redis-cluster-net

  redis-setup:
    container_name: redis-setup
    build:
      context: .
      dockerfile: Dockerfile.alpine
    depends_on:
      - redis-master-1
      - redis-master-2
      - redis-master-3
      - redis-slave-1
      - redis-slave-2
      - redis-slave-3
    environment:
      - REDIS_PASSWORD=password
    volumes:
      - ./setup-redis-cluster.sh:/usr/local/etc/redis/setup-redis-cluster.sh
    networks:
      - redis-cluster-net
    command: ["sh", "-c", "chmod +x /usr/local/etc/redis/setup-redis-cluster.sh && /usr/local/etc/redis/setup-redis-cluster.sh"]

volumes:
  redis-master-1-data:
  redis-master-2-data:
  redis-master-3-data:
  redis-slave-1-data:
  redis-slave-2-data:
  redis-slave-3-data:

networks:
  redis-cluster-net:
Bash
복사

setup-redis-cluster.sh

#!/bin/sh

# Install redis-cli
apk add --no-cache redis

echo "Waiting for Redis nodes to start..."
sleep 10

echo "Creating Redis cluster with masters..."
yes yes | redis-cli --cluster create \
  redis-master-1:6379 \
  redis-master-2:6379 \
  redis-master-3:6379 \
  --cluster-replicas 0 \
  -a ${REDIS_PASSWORD}

echo "Adding slaves to the cluster..."
redis-cli --cluster add-node redis-slave-1:6379 redis-master-1:6379 --cluster-slave -a ${REDIS_PASSWORD}
redis-cli --cluster add-node redis-slave-2:6379 redis-master-2:6379 --cluster-slave -a ${REDIS_PASSWORD}
redis-cli --cluster add-node redis-slave-3:6379 redis-master-3:6379 --cluster-slave -a ${REDIS_PASSWORD}
Bash
복사

데이터 확인 예제

# 컨테이너 접속
docker exec -it redis-master-1 sh

# 클러스터 모드 레디스 cli 접속
redis-cli -c -a password

# key value 저장
set key1 "Hello, Redis!"

# 데이터 확인
get key1
"Hello, Redis!"
# 데이터가 실제로 저장된 키슬롯확인
CLUSTER KEYSLOT key1
(integer) 9189
# 노드별 담당 키슬롯범위를 확인하여 어느 노드가 관리하고 있는지 파악 가능
CLUSTER NODES
2dc5480b5c9521c5d987d56136ef23cc4422cfa2 172.19.0.2:6379@16379 slave 3376c85cb33ca95be7a30ef980019e2c50da7afb 0 1721288671554 3 connected
3376c85cb33ca95be7a30ef980019e2c50da7afb 172.19.0.5:6379@16379 master - 0 1721288671554 3 connected 10923-16383
121edfec52734ec5d1d3c3e7fc4e6da91996d0f7 172.19.0.4:6379@16379 slave 6313f3c66d1e407140f9140e368fda08e3f3f10e 0 1721288671554 2 connected
1adf90a107637a3e45fdb9bd19fc55b8c4b0a423 172.19.0.7:6379@16379 slave 4b82b9e5bbf9676a52eab80dd17eea77a938aa9d 0 1721288671050 1 connected
6313f3c66d1e407140f9140e368fda08e3f3f10e 172.19.0.3:6379@16379 master - 0 1721288671000 2 connected 5461-10922
4b82b9e5bbf9676a52eab80dd17eea77a938aa9d 172.19.0.6:6379@16379 myself,master - 0 1721288670000 1 connected 0-5460
Bash
복사

키슬롯에 분산되어 키가 저장되며, 키슬롯에는 여러 키슬롯이 존재할 수 있습니다.

Trouble Shooting

WARNING Memory overcommit must be enabled! Without it, a background save or replication may fail under low memory condition. Being disabled, it can also cause failures without low memory condition, see https://github.com/jemalloc/jemalloc/issues/1328. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect.

# 로컬에서 설정
sudo sysctl vm.overcommit_memory=1
Bash
복사

컨테이너에서도 설정할 수 있는 방법이 있지만, 보안적인 이유로 권장하지 않는다고 합니다.

References::

5분 안에 구축하는 Redis-Cluster

Redis-Cluster 특징? master를 여러개 두어 분산 저장이 가능하며(Sharding), scale out 이 가능하다. 서버를 늘릴수록 저장할수 있는 공간이 무한대로 커진다. master에 하나 이상의 slave 를 둘 수 있다. master 1,2,3 이 있다면 데이터는 3개중에 하나에 저장되며, client 가 데이터 읽기 요청시 저장된 곳이 아닌 다른 마스터에 요청 했다면 저장된 마스터 정보를 알려주며, 클라이언트는 전달받은 마스터 정보에 다시 요청해서 데이터를 받아와야 한다. But, 해당 부분은 redis-cluster 를 지원하는 라이브러리에서 다 해준다. * 참고 - scale up : 단일 서버의 스펙을 올려 서버 성능을 높힌다. - scale out : 서버를 추가하여 서버 ..

https://co-de.tistory.com/24

Docker로 Redis 클러스터 구성하기 | Hwasurr's Devlog

로컬 환경 테스트를 위한 Dokcer cluster를 docker-compose로 구성하는 과정을 알아봅니다.

https://hwasurr.com/blog/redis/cluster