[Cloud] 무중단 마이그레이션 계획서 - 100-hours-a-week/9-team-Devths-WIKI GitHub Wiki

현재 작성중인 문서입니다. V2 컨테이너화 전환 상황에, 트래픽 발생 중에도 무중단으로 마이그레이션 할 수 있도록 상황을 상정하여 전환 절차를 계획한 문서입니다.

개요

단일 인스턴스에서 운영중인 전체 서비스(Nginx, BE, FE, AI, DB)를 무중단으로 컨테이너(Docker) 및 Managed DB(RDS)로 마이그레이션 하는 것을 목적으로 하는 계획서를 작성한다.

마이그레이션 조건은 아래와 같다.

무중단으로 진행한다.
- 서비스의 중단으로 인해 사용자가 영향을 받지 않고 이용할 수 있어야 한다.
안정성을 우선으로 한다.
- 무중단 마이그레이션 진행으로 인해 데이터 누락, 오류, 과도한 응답 지연 등이 발생하지 않아야한다.
- 실시간으로 변경되는 데이터까지 유실 없이 이관되어야한다.
트래픽 전환은 기존 요청을 끊지 않고 완료 후 진행하도록 한다.
- 전환 직전에 요청을 보낸 사용자는 요청이 누락되어 UX가 저하된다.

위 조건을 충족시키는 마이그레이션을 진행하기 위해 다음과 같은 순서로 마이그레이션 절차를 진행한다.

컨테이너화(Docker) 및 추후 다중 인스턴스 적용을 위해 DB 분리 최우선 시행
즉시 트래픽을 전환하지 않고 데이터 정합성 유지 방안 필요
- CDC(실시간 복제) 툴 사용 (AWS DMS 등)
  - PostgreSQL은 WAL(Write-ahead Logging)에 모든 변경작업을 기록
  - DB 연결이 바뀌기까지 CDC 이벤트를 DMS 등에 넣어 큐 역할을 하고 일관성을 유지
- PostgreSQL의 pub/sub 기능을 이용하여 EC2 → RDS 로 Native Replication
- ~~Dump & Restore~~: 일시적으로 중단이 불가피하므로 부적절하다 판단.
Cut Over(전환) 시점
- 데이터 동기화 100% 완료 시점에 애플리케이션 배포를 통한 DB 주소 변경 필요
고려사항
- Sequence 동기화 필요: AUTO_INCREMENT 값을 맞추지 않고 데이터만 옮기면 전환 후 해당 컬럼 포함 테이블 관련 오류 발생(Primary Key Duplicated) ( https://github.com/100-hours-a-week/9-team-Devths-WIKI/issues/206)
- 로컬 PostgreSQL 버전과 RDS 버전을 확인 후 일치시켜 이슈 발생 방지
- 보안 그룹 설정 필수

개별 실행으로 EC2 상에서 돌아가던 서비스(BE, FE, AI)를 컨테이너로 묶어 진행
컨테이너화 계획은 해당 문서(https://github.com/100-hours-a-week/9-team-Devths-WIKI/wiki/Docker) 참고
컨테이너 오케스트레이션 방식
- Docker Compose(선택)
- AWS ECS
이미지 저장소
- ECR 사용
어플리케이션 별 컨테이화 배포 점검 포인트
- BE
  - 환경변수 정상 주입 확인
  - JWT를 사용하므로 별도의 온메모리 DB 등의 세션 저장 로직 필요 없음
- FE
  - 컨테이너화 빌드 시점에 필요한 환경변수 포함 확인
- AI
  - 모델 포함 및 볼륨 마운트 고려 (컨테이너 실행 시점에 AI 모델 다운로드 시 부팅 오래 걸릴 가능성)
  - EC2 상에 해당 의존성 미리 다운로드 후 Docker 실행 시점에 마운트 필요(S3에 업로드 후 컨테이너 시작 시 Entrypoint에서 다운로드)
  - 추후 다중 인스턴스 전환 시 EFS 등을 사용하여 확장성 확보 가능
- DB
  - 마이그레이션 중 생성된 데이터가 누락되지 않도록 별도 로직 추가 필요

별도의 무중단 계획을 실행하지 않고, 중단을 통해 개발 서버의 컨테이너화 진행. 개발자들이 컨테이너화 된 환경에서 개발 및 테스트를 진행할 수 있도록 지원
환경변수 주입, 빌드 레이어, 등 무중단을 위한 조건 검토 필수
중단 시점에 DB 데이터 이관 및 전환, 환경변수 수정, ALB 설정, 별도 환경 설정 진행