회고0806 - steelbear/HMG_Softeer_DE GitHub Wiki

  • 오늘 한 일
    • 웹 크롤러 예외 처리
    • 시스템 아키텍쳐 구체화
      • 아직 데이터 수집 부분만 저장 방식과 운영 방식 결정
      • 나머지는 어떤 서비스를 이용할지만 결정
      • EDA 이후에 구체화 예정
  • 웹 크롤러 코드 인터페이스 및 로그 통일
    • argument 통일
      • Airflow를 통해 동일 기간의 데이터를 가져오기 위함
      • 현재 수집 날짜, 키워드, 시작 글 번호 3가지로 지정
        • 시작 글 번호는 오류로 인해 재실행시 오류난 부분부터 다시 수집을 시작하기 위함
    • 로그 통일
      • AWS CloudWatch에서도 볼 수 있도록 logging 라이브러리 사용
      • 로그 메세지는 템플릿을 정하고 이를 라이브러리화
        • 필요할 때마다 로그 메세지 파일에서 가져와 사용
        • 이후에 템플릿 수정할 때 해당 파일만 수정하면 된다