02.1. Spark 버전 변경 - YBIGTA/EngineeringTeam GitHub Wiki
개요
- 설치된 Spark의 버전을 바꾸기 위한 문서입니다.
설치할 소프트웨어
- Apache Spark(2.1.2)
1. Spark 버전 확인
# 현재 설치된 스파크 버전 확인
$ spark-submit --version
설치된 버전이 2.1.2가 아닌 경우 계속 진행합니다.
2. Spark 2.1.2 설치
# Download and install spark - ver. 2.1.2
$ cd $HOME
$ wget http://mirror.apache-kr.org/spark/spark-2.1.2/spark-2.1.2-bin-hadoop2.7.tgz
$ tar xvzf spark-2.1.2-bin-hadoop2.7.tgz
# 설치 파일을 다운로드 폴더로 이동합니다
$ mv spark-2.1.2-bin-hadoop2.7.tgz ./downloads/
3. Spark Symbolic link 수정
$ cd $HOME
# Remove old symbolic link
$ rm spark
# Make symbolic link for spark
$ ln -s spark-2.1.2-bin-hadoop2.7 spark
4. Spark 설정
$ cd $HOME/spark/conf
# spark-env.sh.template을 복사하여 spark-env.sh 생성
$ cp spark-env.sh.template spark-env.sh
# 수정 내용, 아래의 내용을 spark-env.sh 에 덧붙여 줍니다.
export SPARK_MASTER_WEBUI_PORT=9090
export SPARK_WORKER_WEBUI_PORT=9091
export HADOOP_CONF_DIR=/home/ubuntu/hadoop/etc/hadoop
5. Spark 버전 확인
# 새로운 스파크 버전 확인
$ spark-submit --version
설치된 버전이 2.1.2가 나와야 합니다.