팀 NLP 11조 Week18 Day5

목차

• 최종 프로젝트
  • ToDo
    • 전처리
  • 업무 할당
  • 시도할 내용
• 팀회고
  • 팀 평가
  • 잘했던 것, 좋았던 것, 계속할 것
  • 잘못했던 것, 아쉬운 것, 부족한 것 -> 개선방향
  • 도전할 것, 시도할 것
  • 개인 감상
• Wrap-up Report
  • 대회 개요
  • 최적화 수행 절차
  • 최종 프로젝트 결과
  • 자체 평가 의견
    • 잘했던 것, 좋았던 것, 계속할 것
    • 잘못했던 것, 아쉬운 것, 부족한 것 -> 개선방향
    • 도전할 것, 시도할 것

일자

• 2021.12.03 금

팀원

• 문석암_T2075
• 박마루찬_T2078
• 박아멘_T2090
• 우원진_T2137
• 윤영훈_T2142
• 장동건_T2185
• 홍현승_T2250

주간 일정

피어세션

최종 프로젝트

최종 프로젝트에서 작성 구글드라이브 링크 피그마 링크

ToDo

전처리

• 기준 구글 리뷰 : query, 네이버 블로그 : context

지역 하나당 query 몇 개?

코드를 수정가능하게 작성

• 최소 query 기준

• 최소 context 기준

• 최소 query 글자 기준 (최소 7자?)

• context 합치기 or 원본

업무 할당

• 문석암 - blog 리뷰 전처리
  • -> 문단으로 나누고 kss 청크 단위 분리 -> query 기반으로 sparse 해서 관련성 있는 것만 가져오기????
• 박마루찬 - dense(준비완료), 제외 해야 하는 장소 전처리
• 박아멘 - 문단 버리기 코드 작성
• 우원진 - 코드 모듈화 해서 정리, 구글데이터 전처리
• 윤영훈 - sparse(끝), dense
• 장동건 - 디자인 조사
• 홍현승 - 구글 데이터 전처리(일단), 디자인 조사

시도할 내용

1. Sparse로 query context 관련성 확인하기
   • 문단을 버리는 것에도 이용 가능 이거는 무조건 좋은듯..?
   • 이걸로 pair 매치하느냐? 1
   • 아니면 사람이 직접 하느냐? 2

• 의견
  • 성능이 Sparse 다를게 없을지도 모른다.

2. NER 사용

   • LOC이 여러개, 원하는 문단, 아닌 문단

3. 리뷰데이터 몇 개 있는 것 까지 살리나? (구글리뷰 기준)( 3 ~ 5 )

4. 살린 것 중에서 몇 개를 골라서 훈련에 쓰나?

   • 3번 양보다 많을 경우 몇 개를 어떻게 고르나?
     • 수기
   • 데이터를 질문형식으로 바꾼다?
     • 이건 굳이?

• 의견
  • 데이터 품질하나는 진짜 좋을듯?

무조건 평서문 묘사

유명한 장소 -> 강남 강남보다 유명한 장소 -> ??

팀회고

팀 평가

• 문석암
  • 계획과 아이디어는 마음에 들었지만 생각보다 진행에 있어서 난이도가 있다는게 느껴졌다. 또 데이터에 중요성에 대해서 너무 많이 느낀거 같습니다.
• 박마루찬
  • 프로젝트 검증 계획을 세울 수 있어서 좋았음. 프로젝트 시나리오를 시작할 수 있는 기반을 거의 구축하였음.
• 박아멘
  • 최종 프로젝트에 상당히 집중해서 모델 최적화에 상대적으로 소홀히 된 점이 좀 아쉬웠다. 아이디어는 좋아도 그걸 구체화하고 현실화 하는 것이 상당히 어렵다.
• 우원진
  • 최종 프로젝트를 어떤 아이디어로 어떻게 진행을 할지 계획을 잘 세운것 같다.
• 윤영훈
  • 어떤 프로젝트를 진행할 것인지부터 데이터를 모으고, 데이터를 어떻게 처리하여 학습에 이용할 수 있을지까지 고민하는 과정이 유익했다. 모델 경량화가 머신 러닝 엔지니어링에 있어서 중요한 것 같은데, 신경쓰지 못 했던 것 같아 아쉽다.
• 장동건
  • 최종프로젝트에서 데이터 수집을 어떻게든 했지만 전처리하는 것에 또 시간을 많이 투자하게 될 것 같다. 또한 모델을 어떻게 설계하고 평가는 어떻게할지 명확히 정리가 필요해보인다.
• 홍현승
  • 최종 프로젝트를 위해 다같이 분담해서 데이터를 수집하는 과정은 유익했습니다. 앞으로 수집한 데이터를 바탕으로 전처리를 어떻게 해야할지 고민해야 하는 시점인 것 같습니다.

잘했던 것, 좋았던 것, 계속할 것

• 계획 수립, 데이터 양식에 맞게 코드 구조 계획

잘못했던 것, 아쉬운 것, 부족한 것 -> 개선방향

• 시간 배분이 아쉬웠다. 모델 최적화에서 더 좋은 스코어를 기록할 수 있었는데.
• 시간이 걸리는 작업을 하는 동안, 기다리지 않고 다음 스텝을 밟으면 좋지 않을까

도전할 것, 시도할 것

• 멈춰 있지 않고 다음 과정을 준비하거나 실행하기!
• 의견을 활발하게 주고 받는 것에서 멈추는 것이 아니라, 확실하게 정하고 실행에 옮기자.

개인 감상

• 문석암
  • 쉽지 않다. 어렵다. 빨리 코딩 작업? 모델 작업?을 시작해야하는 압박이 느껴지기 시작한다.
• 박마루찬
  • 시간 배분이 쉽지 않다. 잘 안 되는 일은 짧게 건드려보고 할 수 있는 일을 빠르게 해결하는게 좋겠다!
• 박아멘
  • 모델 최적화에 대해서 운적 요소가 강하다고 생각하게 되었다.
• 우원진
  • 프로젝트를 어떤 방식으로 진행해야 잘 될지, 어렵다.
• 윤영훈
  • 데이터를 어떻게 사용할지만 결정된다면, 모델을 학습하는 것에는 큰 문제가 없을 것 같다.
• 장동건
  • 최종프로젝트, 모델 최적화를 동시에 하느라 하나에 제대로 집중하지 못한 것 같아 아쉬웠다.
• 홍현승
  • 데이터 수집에 너무 오랜 시간이 드는 것 같다. 인내심을 갖고 준비해야 하는 것 같다.

Wrap-up Report

대회 개요

최근들어 분야를 막론하고 인공지능 기술은 사람을 뛰어넘은 엄청난 성능을 보여주고 있고, 때문에 여러 산업에서 인공지능을 이용해 그동안 해결하지 못 했던 문제들을 풀려는 노력을 하고 있습니다.

대표적인 예로는 수퍼빈의 수퍼큐브가 있습니다. 수퍼큐브는 수퍼빈에서 만든 인공지능 분리수거 기계로 사람이 기계에 캔과 페트병을 넣으면 내부에서 인공지능을 통해 재활용이 가능한 쓰레기인지를 판단해 보관해주는 방식입니다. 간단한 인공지능을 이용해 그동안 힘들었던 분리수거 문제를 해결한 것입니다. 그렇다면 수퍼큐브를 만들기 위해 필요한 인공지능은 무엇일까요? 당연히 들어온 쓰레기를 분류하는 작업일 것입니다. 하지만 분류만 잘 한다고 해서 사용할 수 있는 것은 아닙니다. 로봇 내부 시스템에 탑재되어 즉각적으로 쓰레기를 분류할 수 있어야만 실제로 사용이 될 수 있습니다.

이번 프로젝트를 통해서는 분리수거 로봇에 가장 기초 기술인 쓰레기 분류기를 만들면서 실제로 로봇에 탑재될 만큼 작고 계산량이 적은 모델을 만들어볼 예정입니다.

최적화 수행 절차

• optuna를 PostgreSQL 데이터베이스에 연동
  • Auto ML 로 모델 구조 search
• 직관적인 모델 최적화
• squeezenet 구현
  • Fire, dropout yaml 양식에 맞게 구현
  • acc, f1-score ~20% 정도에 수렴 구현상에 문제가 있는 것으로 판단됨

최종 프로젝트 결과

• public
  • score : 1.3135, f1 : 0.6686, time : 57.0831
• private
  • score : 1.3723, f1 : 0.6553, time : 57.1946

자체 평가 의견

잘했던 것, 좋았던 것, 계속할 것

• optuna optimization 구현, 동작을 대략적으로 나마 이해할 수 있어서 좋았음.
• database 연동 multi-training을 경험해보았다.

잘못했던 것, 아쉬운 것, 부족한 것 -> 개선방향

• 마지막 제출의 경우에는 시간관계상 학습을 그렇게 많이 하지 못한 상태로 제출했다. 대회 끝나고도 더 학습시킨 결과 목표 성능에 준하는 validation f1-score을 기록했다. 약 4시간만 더 있었으면 만족할만한 결과가 나왔을 것이다.
• 최종프로젝트에 많은 시간을 사용해 최적화 대회에 집중하지 못한 것 같다.
• 시도는 했지만 왜 이 구조가 상대적으로 더 좋은지에 대해 모르겠다.

도전할 것, 시도할 것

• 제공된 코드를 이용하면 optuna를 이용한 모델 서치가 가능했는데, 해당 코드를 직접 적용해볼 수 있으면 좋을 것 같다.
• 코드 잘 보관해두고, 필요할 때 다시 이해해서 사용하기!