팀 NLP 11조 Week19 Day4

목차

• 일자
• 팀원
• 주간 일정
• 피어세션
• 최종프로젝트
  • 협업 링크
  • To Do
    • 알파 테스트
    • BE 구성
    • query
    • context
    • Sparse
  • 실험(model)
  • 실험 할 것
    • 새로운 모델
    • 기존 모델 개선
  • 궁금증
  • 의견
  • 문제점
    • query (전처리 파일 필요해용 아니면 blog 랑 유사하게 진행하겠습니다)
    • context
    • sparse
    • pair

일자

• 2021.12.09 목

팀원

• 문석암_T2075
• 박마루찬_T2078
• 박아멘_T2090
• 우원진_T2137
• 윤영훈_T2142
• 장동건_T2185
• 홍현승_T2250

주간 일정

• 1주차 멘토링 12/10(금) 16:00
• 2주차 멘토링 12/15(수) 16:30
• 3주차 멘토링 12/20(월) 16:00

피어세션

최종프로젝트

협업 링크

최종 프로젝트에서 작성

구글드라이브 링크

피그마 링크

To Do

알파 테스트

• 설문지 작성

  • 현승

• 프로토 타입 구현 (streamlit)

  • 원진
  • 아멘
    • 피그마에 있는 그 2페이지짜리 시도해보기

• 모델 baseline 제공

  • query dense - 영훈
  • 유사한 장소

BE 구성

• FASTAPI

query

• 번역문 전처리("(구글 번역 제거)"->제거, "(원문)...."->제거)
• 전문 영어
• 이모지 제거
• 기본 전처리
• 구글 리뷰 평점 기반 전처리

context

• blog 전처리에도 Copyright 전처리 처리 필요할듯
• blog 띄어쓰기 오류 . ? !
  • 우선 휴리스틱하게라도 처리 할 예정
• blog 에도 영어로만 된 context가 존재
  • 제거 여부 고려
• 띄어쓰기를 추가한 반복
  • . . . . . . . . 이딴게 있네;;
• 띄어쓰기 처리 해주기!!!!!!

Sparse

실험(model)

Question : 부모님과 함께 가기 좋은곳 Top-5 passage with score 266.938538 Content name : 포항해상공원 캐릭터테마파크 2021전국생활문회축제 CTS합창단 연습풍경

• context 길이에 대한 문제

실험 할 것

새로운 모델

• 유사한 장소 topk 추천
• 이미지의 유사도 비교하여 추천 (text 유사도와 결합하여)

기존 모델 개선

• DAPT (context)
• elastic search로 k개 뽑은 후 dense retrieval
• 배포해서 의견을 들어보자!

  • 알파 테스트에 가까움. 필요한 성능은?

    • 모델만 있으면 됨

    • DB 만들고 쿼리 - 결과

    • 설문지 링크 - 구글폼

      • 작성한 query
      • 리스트 중 일치한다고 생각하는 갯수

    • 사용자 피드백을 받는다라고하면

      • FE -> query -> BE -> pair
      • 평가 -> pair 를 찾아서 반영
      • query 라는건 유저가 작성한 것
        • query 에 대한 context 리스트가 마음에 들었나요?

    • 대놓고 물어보죠. 이 결과가 마음에 드나요?

  • 이현 멘토님 말에 의하면 음악 생성후 평가를 사람이 했다고 했었음....

  • 사용자 평가에 의한 점수가 실제 서비스했을때 평점에 가깝다고 생각한다면 유의미할것으로 생각됨

궁금증

• query 가 길어지면 점수가 높아질까 낮아질까? (dense)
• context 길이가 주는 영향 (dense)

의견

• LTR 이거랑 Dense랑 성능 비교 필요성 논의
• unsupervised learning 를 통한 자체 classification 를 통해 비슷한 곳 탐색 가능 (sparse 랑 비슷하긴 할 듯)
• 생각보다 query에 해당 명소나 지역 명이 들어가는 경우가 많은데 이는 학습에서 좋을까 별로일까?
• DAPT 버러지는 데이터

문제점

query (전처리 파일 필요해용 아니면 blog 랑 유사하게 진행하겠습니다)

• 시간 관련 리뷰 데이터

  • 특정 기간 또는 특정 시점에 대한 query 에 대한 문제
  • ex)
    • 코로나 기간 이라 ~
    • 지금 공사중이라 ~

• 사진 관련 종종 사진 등의 단어에 상위로 올라오나 이미지가 없어서 의미 없는 데이터

  • 하지만 일괄 제거하기엔 또 사진찍기 좋다 등 의 충돌이 있음

• 왜인지 모르겠지만 리뷰에 설명충이 있다 위키 그대로 가져온 설명 데이터들

  • Sparse로 가져올 때 거의 무조건 높은 score
    • 이걸로 하나 알 수 있는건 확실히 해당 지역 또는 명소를 설명하는 context(blog)글은 차고 넘친다
  • 뭐 어떻게 처리한다는 모르겠지만 어떤 영향을 줄지 고려

• spare 기준으로 너무 짧은 문장은 분별력이 너무 부족함 (임시 처리 진행함)

  • 띄어쓰기 기준으로 5개 이상으로 진행함

context

• blog 홍보성 글이 지배한는 경우 존재
  • 그냥 날짜만 다르고 사실상 같은 내용

sparse

• 너무 느려서 Mecab 으로 변환

  • 그냥 보기엔 괜찮은데 성능이 어떨지 모르겠음..
  • 대략 채감 속도 차이 10배 (Mecab으로하면 한시간 컷)
  • Mecab 설치에 대한 부분이 여전히 짜증남
  • 가능하면 다 써보는게 방법일 듯

• 토크나이즈 할 때는 확실히 ,.;?! 등의 부분 제거 필요

  • 가능하면 Stop words 처리하는게 좋을 듯
  • stem -> 원형
  • .. 등의 영향을 너무 많이 받음 그냥 내용이 완전 달라도 .. 이 많은 경우

• 동일 query,context 발생가능 (해결)

  • 중복 전부 제거해줌

pair

• 내용이 너무 다양한 공간에대한 문제

  • ex) 방송사는 여러 행사에 대한 리뷰가 많으며 context도 너무 다양함

• 사실상 같은 공간에 대한 중복 문제

  • ex) 유성 족욕체험장 유성 온천지구
    • 리뷰가 같음