Sentinel Shuttle - skpdi/sentinel-document GitHub Wiki

Sentinel Schema를 통해 정의된 규격대로 로그를 남길 수 있도록 Format 을 담당하는 라이브러리입니다.
기록해야 하는 컬럼을 Setter 메소드를 이용해서 편리하게 남길 수 있습니다.

센티넬 홈페이지에서 다운 받을 수 있습니다. Shuttle 은 포맷만 담당하며, 전송을 위해서는 각 환경에 맞는 입수도구와 같이 사용해야 합니다. 환경별 사용 가이드는 아래 목록에 추가된 링크를 참고해 주세요.

• Client용 Shuttle
  • Android (Rake Android와 사용)
  • iOS (Rake iOS와 사용)
  • Javascript (Rake Javascript와 사용)
• Server용 Shuttle
  • Java (RakeKafka, LogAgent, Direct-Kafka와 사용)

• 필드 이름 오타를 방지할 수 있습니다. (IDE 자동완성)
• 필드 값 escaping 을 지원합니다. (\n, \r, 기타 이상한 아스키 코드등)
• 필드 타입 불일치 방지 (Integer 가 필요한데, String 을 넣으면 컴파일이 되지 않습니다.)
• 로그 버전 자동 생성
• 로그버전 형식 : #define시트내의 #version : shuttle version : schema version (공백없이 ":"로 concat)
• 로그 형식(JSON/TSV) 자동 생성

• Shuttle 은 스레드 세이프 하지 않습니다. 멀티 스레드 이슈가 있는 위치에서는 (e.g Controller) 매번 생성하거나, 무거울 경우 ThreadLocal, Spring scope 등을 이용해주세요.
• Client 용 Shuttle 은 Android, iOS, Javascript 버전을 지원하며, 의존성이 없습니다.
• Server 용 Shuttle 은 Java 버전만 제공합니다. 의존성도 있으며, Shuttle.toString 을 사용해서 로깅합니다. (toJSONObject 가 아닙니다)

• 해당 경우 Rake 인스턴스와 Shuttle의 맵핑 관계가 올바른지 확인해 주시기 바랍니다.

로그정의서A의 로그 수집용 Rake 인스턴스 - 로그정의서A에서 생성한 Shuttle 사용 
로그정의서B의 로그 수집용 Rake 인스턴스 - 로그정의서B에서 생성한 Shuttle 사용

• 원래 수집하고자 하는 채널(Sentinel 로그정의서)에서 생성된 Shuttle이 아닌 다른 채널에서 생성된 Shuttle을 사용할 경우, 로그 입수가 정상적으로 되지 않습니다.

Body 컬럼의 타입으로 JSON 타입을 사용하는 경우 다음과 같은 문제가 발생할 수 있습니다.

Body가 1 depth 이기 때문에, 이 경우 2 depth 이상이 됩니다. json 의 depth가 2 이상인 값에 대해 검증 및 암호화를 지원하지 않습니다.

위 사항에 대해서 고려하시고 사용하셔야 하며, 로그 암호화나 검증 문제는 DAS/DA 와 상의하셔야 합니다.

참고로 여러 depth의 json 값도 Hive의 get_json_object() 함수를 이용해 추출이 가능합니다.

정리하면, 셔틀에 빈 값 을 표현하기 위해 null 값을 이용할 수 있으나, Header (TSV) 와 Body (JSON) 에서 빈 값이 다르게 표현되고, 저장된 위치 (Kafka 또는 HDFS) 에 따라 다르니 알고 사용하시면 됩니다.

• LogAgent 사용자를 위한 Shuttle 포맷 가이드
• Sentinel Shuttle Maintainer Guide
• Sentinel Shuttle에서 사용 가능한 타입,예약어,코드
• Server 용 Shuttle 사용법 - 암호화 의존성 추가