• AWS Code Deploy로 배포 Jenkins에서 배치 Jenkins로 Spring Batch 배포하기 - 기본 환경 구성

Gradle의 Multi Module 로 구성된 프로젝트를 기준으로 하였음 /*

• gradle multi modules : 하나의 공통 프로젝트(root)를 두고, 이 프로젝트를 여러 프로젝트에서 가져가서 사용할 수 있으면 좋지 않을까?? -> 개발시에는 바로바로 공통 프로젝트 코드를 사용할 수 있어야 한다 -> 빌드시에는 자동으로 공통 프로젝트가 포함되어야 한다. -> core 프로젝트 + sub 프로젝트 */

Spring Batch의 Trigger를 관리하는 방법

• Linux의 crontab : 보통 많이 사용
• Spring Quartz(쿼츠) : 보통 많이 사용[스프링에서 스케줄링 지원]
• Jenkins : Spring Batch 관리용으로 유용[배포용 Jenkins와 Batch용 Jenkins 분리 필요]

1. AWS 환경설정

• 배포용 Jenkins와 Batch용 Jenkins로 Jenkins와 서버는 총 2대 필요
• 배포용 Jenkins에서 Test & Build를 수행한 후, Code Deploy를 통해 Batch용 Jenkins에 Spring Batch jar를 전달

하나의 Jenkins 사용 하지 않는 이유

- 배포를 하기 위한 Jenkins가 DB에 대한 접근 권한까지 가지는 것이 위험 - 배포용 Jenkins를 업데이트 하는 동안 정기적인 배치 작업은 다운 없이 계속 진행할 수 있음
- Java 코드 뿐 아니라 시스템도 각자의 역할에 맞게 분리하는 것이 확장성이나 유지보수면에서 굉장히 좋기 때문에 웬만해선 분리

• 배포용 Jenkins가 설치된 EC2의 IAM Role에 S3가 포함되있어야 함

[역할 생성 및 S3 생성] -> jenkins-codedeploy-batch AmazoneS3FullAccess AWSCodeDeployFullAccess

-> jenkins-codedeploy-deploy AWSCodeDeployRole

[S3정보] 버킷명:ssw-member-deploy 서울 퍼블릭아님(이 버킷에 퍼블릭 읽기 액세스를 부여하지 말 것)

[codedeploy 애플리케이션 생성] 애플리케이션 명 : ssw-member-deploy 컴퓨팅플랫폼 : EC2/온프레미스 배포 그룹이름 : member-batch -> 배포그룹이 애플리케이션 하위에 속함

환경구성 : Name - jenkins-codedeploy-batch 역할 - codedeploy-service

Gradle Multi module 프로젝트 생성 git 설치 github 아이디 만들기 -> 로그인 -> 참조할 github 포크[내껄로 옮김]뜨기 -> 내 노트북러 clone -> intellij로 open

[Batch Jenkins 서버 설정]

• 필요한 패키지 업데이트 sudo yum update sudo yum install ruby sudo yum install wget

• agent 설치 cd /home/ec2-user wget https://aws-codedeploy-ap-northeast-2.s3.amazonaws.com/latest/install chmod +x ./install sudo ./install auto

cd /home sudo mkdir jenkins sudo mkdir /home/jenkins/member-batch sudo mkdir /home/jenkins/member-batch/deploy sudo mkdir /home/jenkins/member-batch/jar sudo chown -R jenkins:jenkins /home/jenkins

Root 프로젝트의 gradlew를 이용하여 member-batch 만 build ./gradlew :member-batch:clean :member-batch:build

mkdir -p code-deploy-member-batch cp member-batch/code-deploy/.yml code-deploy-member-batch cp member-batch/code-deploy/.sh code-deploy-member-batch cp member-batch/build/libs/*.jar code-deploy-member-batch

zip -r code-deploy-member-batch *

zip 파일 S3 upload

Code deploy로 배포

배치 파일 실행 sudo -H -u jenkins java -jar $(readlink /home/jenkins/member-batch/application.jar) --job.name=sampleBatch version=test

github OAuth deploy-jenkins Client ID d389c9c7871cecda44ff Client Secret 268d0d230d352dacb017006da081a651d98f3522

• 배포 Jenkins 환경설정 새로운 item [build-deploy - freestyle project] general - choice parameter [name : PROJECT_NAME, choices : member-batch] 소스코드 관리 - git(url, credentails:github-> git과 연동 필요, git 설치 필요) Build DEPLOY_DIR_NAME=code-deploy-${PROJECT_NAME} APP_NAME='ssw-member-deploy' BUCKET='ssw-member-deploy' ZIP_NAME=${PROJECT_NAME}-${GIT_COMMIT}-${BUILD_TAG}.zip

./gradlew :${PROJECT_NAME}:clean :${PROJECT_NAME}:build

echo " > 배포.zip 생성" mkdir -p ${DEPLOY_DIR_NAME} cp ${PROJECT_NAME}/code-deploy/.yml ${DEPLOY_DIR_NAME}/ cp ${PROJECT_NAME}/code-deploy/.sh ${DEPLOY_DIR_NAME}/ cp ${PROJECT_NAME}/build/libs/*.jar ${DEPLOY_DIR_NAME}/

cd ${DEPLOY_DIR_NAME} zip -r ${DEPLOY_DIR_NAME} *

echo " > AWS S3 업로드" aws s3 cp ${DEPLOY_DIR_NAME}.zip s3://${BUCKET}/${ZIP_NAME} --region ap-northeast-2

echo " > AWS CodeDeploy 배포" aws deploy create-deployment
--application-name ${APP_NAME}
--deployment-group-name ${PROJECT_NAME}
--region ap-northeast-2
--s3-location bucket=${BUCKET},bundleType=zip,key=${ZIP_NAME}

echo " > 생성된 디렉토리 삭제" cd .. rm -rf ${DEPLOY_DIR_NAME}

/* ./gradlew :${PROJECT_NAME}:clean :${PROJECT_NAME}:build 멀티 모듈 프로젝트이기 때문에 지정한 프로젝트만 ( ${PROJECT_NAME} ) Build 합니다. */

배포 job test gradle을 통해 빌드 하게 되는 java 버전 확인 -> jdk 1.8임[openjdk가 오픈소스라 대부분 openjdk 이용]

배포 및 배치 실행 Batch Jenkins에서 새로운 Item 생성(배치,freestye project) 배치 실행시 파라미터 중복 오류를 피하기 위해 임시 파라미터 등록(String Parameter 매개변수 명 : version , Default Value : 1) Build 항복(Execute Shell) ORIGIN_JAR=$(readlink /home/jenkins/member-batch/application.jar) echo " > ORIGIN_JAR: ${ORIGIN_JAR}" java -jar ${ORIGIN_JAR}
--job.name=sampleBatch
version=${version} #readlink : application.jar에 링크된 원본 jar파일을 찾습니다. #배치 실행 시 원본 jar를 실행하기 때문에 배포로 application.jar에 링크된 파일이 변경되도 실행중이던 배치가 종료되지 않습니다.

실행.

흐름 : git에 소스 업로드 및 업데이트 -> 이벤트 감지 후 deploy 실행 -> 테스트 후 배포하여 스토리지(s3)에 upload -> 이벤트 감지후 배치 jenkins 실행