회고0823 - steelbear/HMG_Softeer_DE GitHub Wiki

  • formatter 테스트 완료
    • 다른 모듈간의 연결을 위한 수정
      • S3 읽기 혹은 저장 버킷 수정
      • formatting 결과 위치 조정
    • 생각보다 편한 lambda 운용
      • 처음에는 뭐가 뭔지 몰랐지만 뭔가 하고싶다하면 어떻게든 방법이 있음
        • custom docker image없이 lambda에서 서드파티 라이브러리 이용하기
        • S3에서 파일이 생성되면 실행하기
      • 하지만 lambda 이외는 조금 더 복잡해보인다
  • sentence_transformers
    • 현재 키워드 추출을 위해 모델 서버를 만들어 운영중
    • 하필이면 gpu가 없는 EC2 인스턴스에서 만들었는지라 느림
      • 게시글 하나 처리하는데 1~2초
    • onnx runtime을 통해 cpu에서 더 빠른 배포 구현
      • 다행히도 fast_sentence_transformers라는 라이브러리가 있었음
      • 하지만 오래전에 archive된지라 현재 onnx runtime api와 맞지 않음
      • 조금만 수정하면 되서 fork한 후 수정해서 사용