Spark streaming 01 - asloud/dev_note01 GitHub Wiki

Spark streaming 개념, 기본

• Spark streaming은 사용자들이 배치 작업에 썼던 것과 유사한 API를 통해 스트리밍 어플리케이션을 작성할 수 있도록 해주며, 기존에 썼던 기술과 코드를 재활용하라 수 있도록 도와준다.
• Spark streaming은 DStream(Discretized stream, 이산 스트림)이라 불리는 추상화 개념을 바탕으로 한다.
  • DStream은 시간별로 도착한 데이터들의 연속적인 모음
  • 내부적으로는 각각의 DStream은 각 시간별로 도착한 RDD들의 연속적인 모음으로 구성
  • DStream은 HDFS, Kafka 등 다양한 입력 소스로 만들어 질 수 있다.
• DStream은 두 가지 타입의 연산 제공
  • 새로운 DStream을 만들어 낼 수 있는 transformation
  • 외부 시스템에 데이터를 써주는 결과 연산 (output operation)
• DStream은 RDD에서 가능한 것과 동일한 종류의 많은 연산 지원, 시간 관련이나 슬라이딩 윈도 같은 특별한 기능도 지원

Spark streaming 코딩/구성

• Spark streaming은 Maven이나 sbt로 빌드된 단일 어플리케이션으로 돌아갈 때 가장 잘 돌아간다.
• 스트리밍의 주 시작점은 StreamingContext를 생성하는 것으로 시작.
  • Java의 경우 JavaStreamingContext 생성
• Batch interval : 얼마나 자주 처리하는지에 대한 설정인 배치 간격도 설정
• 시작, 종료
  • 데이터를 받기 시작하려면 명시적으로 StreamingContext의 start() 호출
    • Spark streaming은 내부의 SparkContext에 스파크 작업들을 스케줄링 시작.
  • 이는 별도의 스레드에서 실행되므로 사용자 어플리케이션이 종료되더라도 작업을 유지하기 위해 awaitTermination을 호출해야 한다.
• StreamingContext는 한 번만 시작할 수 있으므로 DStream과 관련된 출력 연산에 대한 것들을 모두 작업한 후에 시작해야 한다!

아키텍처와 추상화 개념

• Spark streaming은 "마이크로 배치 micro batch"라 불리는 이키텍처 사용
  • micro barch : 스트리밍 처리를 데이터의 작은 단위들 위에서 각 배치 처리의 연속저인 흐름으로 간주
  • Spark streaming은 다양한 입력 소스로부터 데이터를 받아들여 이것들을 작언 그룹들로 묶는다
• Batch 생성 단계
  • 새로운 배치들은 정해진 시간 간격마다 만들어진다.
  • 시간 간격 동안 받아들인 데이터가 배치에 계속 추가
  • 시간 간격의 마지막에는 배치 추가를 완료
• Batch interval(시간 간격의 길이)은 설정에 따라 경정
  • 500ms부터 수 초 사이, 개발자에 의해 결정
• 각 입력 배치를 RDD 형태이며 스파크 작업을 사용하여 다른 RDD를 생성하도록 처리.
• 처리된 결과는 여러 묶음으로 나뉘어 외부 시스템에 보내질 수도 있다.
• Spark streaming에서 프로그래밍적인 추상화 개념
  • DStream이라 불리는 RDD의 연속적인 묶음
  • 각 RDD는 흐름 안에서 1회용으로 쓰일 데이터의 부분을 갖는다.
• DStream은 외부 입력소스로 만들어지거나, 다른 DStream에 트랜스포메이션을 적용하여 만들 수 있다.
• DStream은 출력 연산도 지원
  • 외부 시스템에 쓴다는 점은 RDD의 액션과 유사, Spark streaming에서 이는 매시간 단계마다 주기적으로 실행되며 출력은 batch 단위로 생성
• Spark streaming의 각 입력 소스마다 receiver를 실행
  • 이는 어플리케이션의 익스큐터들 안에서 데이터를 모드고 RDD에 저장하는 테스크들. 이들은 데이터를 받아서 장애대응을 위해 다른 익스큐터에 복사.
  • 입력 데이터의 복제본이 사용 가능한, RDD들의 가계도를 이용하여 어떤 상태에서라도 결과를 재연산할 수 있다.
• Spark streaming은 체크포인팅 checkpointing 이라는 견고한 파일 시스템에 주기적으로 상태를 저장하는 매커니즘을 따로 갖고 있다. (장애대응을 위하여)

Transformation

• DStream의 트랜스포메이션은 무상태 stateless와 상태 유지 stateful로 나눌 수 있다.
• 무상태 트랜스포메이션
  • 각 배치의 처리가 앞쪽의 배치들에 있는 데이터와 상관없이 진행
  • 일반적인 RDD이 트랜스포메이션들이 포함
• 상태 유지 트랜스포메이션
  • 현재 배치의 결과를 만들기 위해 이전 배치의 데이터나 중간 결과를 이용
  • 슬라이딩 윈도와 시간별 상태 추적을 바탕으로 하는 트랜스포메이션들이 포함
• 무상태 트랜스포메이션 연산
  • 자세한 설명은 생략한다. RDD 연산과 같다고 한다.
• 상태 유지 트랜스포메이션 연산
  • 시간 단계 범위를 넘어 데이터를 추적하는 DStream의 연산.
  • 이전 배치들의 데이터가 새로운 배치의 결과를 생성하기 위해 사용.
  • 두 가지 타입 : 슬라이딩 윈도에서 동작하는 윈도 연산 / 각 키에 대한 이벤트들 간의 상태를 추적하는 updateStateByKey()
• 상태유지 프랜스포메이션은 장애 대응을 휘애 StreamingContext에서 체키포인팅을 활성화를 필요로 한다
• Window transformation
  • 여러 배치 결과를 합쳐서 StreamingContext의 배치 간격보다 훨씬 긴 시간 간격에 대한 결과를 계산한다.
  • 모든 윈도 연산을 두 개의 인자를 사용한다
    • 윈도 시간(window duration), 슬라이딩 시간(sliding duration)
    • 이 두가지 값은 모두 StreamingContext의 배치 간격의 배수여야 한다.
  • window duration : 지나간 배치를 몇 개나 사용할지 제어 (윈도 시간/배치간격), 개수만큼의 최근 배치들을 사용.
  • sliding duration : 기본값은 배치 간격과 동일, 얼마나 자주 새로운 DStream이 결과를 계산할지 결정
  • 가장 간단한 윈도 연산은 window(), 요청된 윈도 내의 데이터로 새 DStream을 만들어 되돌려 준다.
• updateStateByKey transformation
  • DStream 안에서 배치들을 통틀어서 유지되는 상태 존재
  • updateStateByKey() 키/값 쌍의 DStream을 위한 상태 변수를 제공
  • (키, 이벤트) 쌍이 DStream에 주어지면, 이는 새 이벤트에 주어진 각 키를 업데이트하도록 정의된 함수를 받아들여 새 (키, 상태) 쌍의 DStream을 만들 수 있다.
  • updateStateByKey()를 쓰려면 키에 대해, 도착한 이벤트와 이전 상태를 받아들이는 update(events, oldState) 함수를 작성하여 업데이트된 결과를 저장한 newState를 되돌려준다.
    • events는 현재 배치에 도착한 이벤트의 목록이다 (없을 수 있음).
    • oldState는 선택저으로 존재하는 상태 객체이며 Option에 저장된다. 만약 키에 대해 이전 상태가 없으면 없을 수 있다.
    • newState는 함수에 의해 되돌려주게 되며, 또한 Option이다. 상태를 삭제하거나 없는 채로 되돌려 주고 싶으면 빈 Option을 되돌려준다.
  • updateStateByKey()의 결과는 매시간 단계마다의 (키, 상태) 쌍들의 RDD를 가지는 새로운 DStream이 된다.