회고0814 - steelbear/HMG_Softeer_DE GitHub Wiki

  • 스쿼드 세션
    • 아직 모두 데이터 수집에 중점을 두는 듯 하다
      • AWS 서비스가 생각보다 사용하기 어렵다
      • 화면을 쓸 수 없는 상황에서 Selenium을 사용해야 함
      • 일부 홈페이지가 로봇을 막음
    • 데이터 분석에서 모두 애를 먹는 중
  • 클라우드 엔지니어가 따로 존재하는 이유
    • 실수로 Lambda만으로 $40 씀
      • 빠르게 페이지를 긁어오기 위해 페이지마다 Lambda 인스턴스 생성
      • 이때문에 수많은 Lambda 호출로 비용이 많이 나온 것을 추정