팀 NLP 11조 Week18 Day2

목차

• 피어세션
• 최종 프로젝트
  • Auto ML
  • 분업
  • 실험할 사항
  • 전처리
    • google
    • blog
  • google api 크롤링

일자

• 2021.11.30 화

팀원

• 문석암_T2075
• 박마루찬_T2078
• 박아멘_T2090
• 우원진_T2137
• 윤영훈_T2142
• 장동건_T2185
• 홍현승_T2250

주간 일정

피어세션

• 모델 최적화
  • 각자도생
  • 왠지 몰라도 데이터 변형을 주는 것의 효과가 없어보임
  • squeeze net 만들려고 했는데, module 추가 제대로 되지 않음

최종 프로젝트

최종 프로젝트에서 작성

Auto ML

-> 나눠서 돌리 -> DB-> 사람이 전부 접속

분업

코드 -> MRC branch model

• 전처리 (서울만)
  • raw (글 없는 것만 제외)
• 모델 (서울만)
  • In-batch
    • Context 개별 (무지성 결합, 모든 조합), 통합
  • Non In-batch
    • Context 개별 (무지성 결합), 통합
• 실험 -> 전처리 수정하고 반복
• 테마별 성능 비교

1. Context 에 대한 검증
   • 조건 일정 점수 이상일 경우(acc/f1 ?? 이상인 경우) top 10개에 포함된 경우

실험할 사항

• '광명동굴' 이건 진짜 잘 찾아야 맞는거 데이터가 정말 많음

• Non in-batch / query, context top 10 pair

• In-batch / query(1), context(1)

• context 형식

  1. 하나의 명소에 개별 context

     • 모델을 돌려서 상위 N개 중 가장 많은 명소가 답
     • train pair를 만들어야 하는거 아닌가요??
       • 개별 내용 완전 딴판
       • google
       • blog
       • 하게된다면 그냥 각 context별로 score을 내는 방식? 곱보다는 합? 합이라고 하기에는 중복이 문제인데. train

  2. 하나의 명소를 합친 context

     • 모델을 돌려서 top 1이 답
       • blog 전부 합쳐진 상태

전처리

google

기준 Dense

• 길이
• 부정적인 리뷰(Dense 기준)
• 번역 문장 (자동번역)
  • (Google 번역 제공) 아주 멋지다! (원문) Очень классно!

blog

• 해쉬태그 제거(한글만)
• @ 태그 제거
• 공백 2개 한개로 변경
• URL
• dict 형식 제거
• context = re.sub(r""".(?=[^ ])""", ". ", context)
• 아래 나온 문자외 전부 제거

google api 크롤링

• 다 같이 돌리는 중 (time.sleep() <- 이거 줄이면 더 빨리 됨)
  • 다 되면?