팀 NLP 11조 Week16 Day5

목차

• 피어세션
• 최종 프로젝트
  • 사용 시나리오
  • 데이터
• 팀회고
  • 팀 평가
  • 잘했던 것, 좋았던 것, 계속할 것
  • 잘못했던 것, 아쉬운 것, 부족한 것 -> 개선방향
  • 도전할 것, 시도할 것
  • 개인 감상
• Wrap-up Report
  • 대회 개요
  • 팀 구성 및 역할
  • 데이터 수행 절차와 경과
    • 전처리 (KSS,Filter)
    • Relation, Entity type 선정
      • 가이드라인 작성
      • 엔티티 태깅 (tagtog.net)
    • 라벨링
  • 최종 프로젝트 결과
    • IAA (inter-annotator agreement)
    • Model fine-tuning
      • 결과
  • 자체 평가 의견
    • 잘했던 것, 좋았던 것, 계속할 것
    • 잘못했던 것, 아쉬운 것, 부족한 것 -> 개선방향
    • 도전할 것, 시도할 것

일자

• 2021.11.19 금

팀원

• 문석암_T2075
• 박마루찬_T2078
• 박아멘_T2090
• 우원진_T2137
• 윤영훈_T2142
• 장동건_T2185
• 홍현승_T2250

주간 일정

피어세션

최종 프로젝트

사용 시나리오

• 입력 문장

데이터

1. 리스트 뽑기 by tour API (정답)

   • 여기 문장도 사용가능하면 사용하기

2. 데이터 가져오기 (문장)

   • google API
   • 네이버 : 크롤링
   • 인스타 : 크롤링 방법 알아내자

팀회고

팀 평가

• 문석암
  • 데이터의 귀중함? 데이터의 소중함을 다같이 느꼈을거라 생각합니다. 그래도 다같이 열심히 해주셔서 잘 진행할 수 있던거 같습니다.
• 박마루찬
  • 다같이 방법을 정하고 노가다를 함께 했는데, 재밌었다. 같이 하는 느낌이 많이 났음.
• 박아멘
  • 이번 한 주 혹사당한 팀원들이 너무 고생했다. 특히 새벽에도 일한 특정 팀원들에게 감사함을 표한다.
• 우원진
  • 원시 데이터를 만드는데 원시인처럼 일을 하면서 힘듦을 알게 된 것 같습니다. 정말 적지 않은 데이터를 한다고 고생한 팀원들이 대단하다고 느꼈습니다.
• 윤영훈
  • 원시 데이터에서부터 시작하여 문장 filtering해주고, entity 태깅, relation 태깅까지 다들 너무 고생하신 것 같다. 반복 작업인 데이터 제작은 너무 힘들었던 것 같다.
• 장동건
  • 이전 프로젝트와 성격이 많이 달라 적응하기가 어려웠습니다. 데이터를 만드는 과정이 제 생각보다 생각해야 할 것이 많고 시간과 노동이 많이 필요하다는 것을 느꼈습니다.
• 홍현승
  • 노가다의 소중함과 무서움을 깨달았습니다. 팀원들에게 감사하고, 데이터 제작하시는 분들이 대단하다고 생각이 들었습니다. 이제부터 데이터셋이 이상하다고 불평하지 않고, 감사한 마음으로 임할것 같습니다.

잘했던 것, 좋았던 것, 계속할 것

• 토의해야 할 점이라는 생각이 든다면 카톡으로 바로 공유한 점.
• 의견을 내고 회의 시간 내에 방법을 정한 것.

잘못했던 것, 아쉬운 것, 부족한 것 -> 개선방향

• 적당히 느낌적인 느낌으로 가이드라인을 마무리 한 점. 끝까지 명확하게 하려 노력했어야 했다.
• '관계없음'으로 태깅된 데이터들이 너무 많은 것 같다. entity들을 더 많이 포함할 수 있는 relation을 고려했어야할 것 같다.
• 최대한 라벨링 규칙을 세웠음에도 개인적인 편향이 많이 사용된 것을 보면 좀 더 구체적으로 해야했을 것 같다.
• 일정이 어려운 것이라 예상되었음에도 충분한 시간을 두지 않았던 점이 아쉽다. 더 여유있게 구성했어야 했다.
• RE task의 application을 알았다면, 데이터 제작에서 어떤 부분을 개선해야 할 지 알 수 있을 것 같다.

도전할 것, 시도할 것

• 더 정확한 가이드라인.
• 파일럿 라벨링 시간을 더 길게 가져서 라벨링 과정에서 생기는 이슈를 더 찾아 가이드라인에 반영하기
• 데이터 필터링을 더 세세하게 진행하여 데이터로서의 가치가 없는 것들을 최소화해야할 것 같다.
• 더 많은 데이터를 다루기 위한 일괄 처리 방식.

개인 감상

• 문석암
  • 왜 데이터가 비싼지 알겠다. 중국이 데이터에 돈 많이 쓰는게 얼마나 큰 영향인지도 덩달아 알았다
• 박마루찬
  • 전체적인 과정을 경험해서 좋았다. 다음애 해야 한다면 더 제대로 할 수 있을 것 같음! 잘배움!
• 박아멘
  • 데이터제작은 충분히 돈 받으면서 할만한 힘든 일이다. 내 인생에서 다시 볼 날이 없었으면 좋겠다.
• 우원진
  • 모델을 만들때 데이터가 가장 중요하고, 가장 시간이 많이 사용된다고 들었는데 정말 잘 알게된 것 같다.
• 윤영훈
  • 직접 해보기 전에는 데이터 제작이 나름 재미있는 과정일 것이라고 생각했는데, 2주간 진행해보니 너무 재미없고 힘든 작업이었다.
• 장동건
  • 라벨링 하는 기준을 조금 더 디테일하게 정하고 생각할 시간이 더 많았으면 더 퀄리티 좋은 데이터를 만들 수 있었을 것 같다는 생각이 들어 아쉽다. 그렇지만 더 하고 싶지는 않은 일이었다.
• 홍현승
  • 이,그,저 와 같은 대명사를 entity로 잡은 문장이 몇개 있어서 혼란을 유발한 점이 아쉽다. 또한 데이터 제작을 마무리 할때쯤 너무 급하게 한 감이 있어서 아쉬웠다.

Wrap-up Report

대회 개요

• Relation extraction 데이터셋 제작
  • 관계 추출 태스크에 쓰이는 주석 코퍼스를 만들어 본다.
  • 문장내에서 두 단어(subject, object)와 둘의 관계 쌍의 데이터셋을 제작하는 과정을 통해 데이터에 대해 이해한다.

팀 구성 및 역할

• 문석암_T2075
• 박마루찬_T2078
• 박아멘_T2090
• 우원진_T2137
• 윤영훈_T2142
• 장동건_T2185
• 홍현승_T2250

데이터 수행 절차와 경과

전처리 (KSS,Filter)

• Sentence Segmentation 을 진행하기 위해 KSS 를 사용함.
  • KSS Github
• mecab을 이용한 morph filter를 진행.

Relation, Entity type 선정

• Pororo NER 을 이용하여 Entity 데이터 결과를 바탕으로 아래 Relation 을 선정 후 새롭게 Entity를 다시 태깅함

가이드라인 작성

• 관계_없음
  • 하위 모든 경우에 포함되지 않는 모든 경우
• 용어:별칭
  • (TERM,TERM) Object는 Subject의 또 다른 이름
• 용어:등장시기
  • (TERM,DATE) Object는 Subject의 등장 시기
• 제품:부품
  • (TERM,TERM) Object는 Subject의 부품
• 용어:행위
  • (TERM, TERM) Object는 Subject의 행위
• 용어:일종
  • (TERM, TERM) Object는 Subject의 일종
• 사람:고안물/제작물
  • (PER, TERM) Object는 Subject의 제품/창작물/고안물/작품
• 직업:도구
  • (PER,TERM) Object는 Subject의 도구
• 단체:제품
  • (ORG,TERM) Object는 Subject의 제품
• 용어:도구
  • (TERM, TERM) Object는 Subject의 동종업계

엔티티 태깅 (tagtog.net)

• 문장의 가능한 relation을 고려하여 entity 태깅
• 전체 문장을 나눠서 각자 진행 후 병합

라벨링

• 라벨링은 각 문장-엔티티 쌍 당 5명이 수행했다.
• SpreadSheet에 작성해서 데이터를 취합하였다.

최종 프로젝트 결과

IAA (inter-annotator agreement)

• 0.7128749615856718

Model fine-tuning

• 라벨링 완료된 스프레드 시트 저장하여 데이터셋으로 사용
• Stratification 적용하여 train,val set 분리

결과

• dataset에서 test_set의 no_relation 비중을 줄이면 점수가 소폭 하락.

자체 평가 의견

잘했던 것, 좋았던 것, 계속할 것

• 토의해야 할 점이라는 생각이 든다면 카톡으로 바로 공유한 점.
• 의견을 내고 회의 시간 내에 방법을 정한 것.

잘못했던 것, 아쉬운 것, 부족한 것 -> 개선방향

• 적당히 느낌적인 느낌으로 가이드라인을 마무리 한 점. 끝까지 명확하게 하려 노력했어야 했다.
• '관계없음'으로 태깅된 데이터들이 너무 많은 것 같다. entity들을 더 많이 포함할 수 있는 relation을 고려했어야할 것 같다.
• 최대한 라벨링 규칙을 세웠음에도 개인적인 편향이 많이 사용된 것을 보면 좀 더 구체적으로 해야했을 것 같다.
• 일정이 어려운 것이라 예상되었음에도 충분한 시간을 두지 않았던 점이 아쉽다. 더 여유있게 구성했어야 했다.
• RE task의 application을 알았다면, 데이터 제작에서 어떤 부분을 개선해야 할 지 알 수 있을 것 같다.

도전할 것, 시도할 것

• 더 정확한 가이드라인.
• 파일럿 라벨링 시간을 더 길게 가져서 라벨링 과정에서 생기는 이슈를 더 찾아 가이드라인에 반영하기
• 데이터 필터링을 더 세세하게 진행하여 데이터로서의 가치가 없는 것들을 최소화해야할 것 같다.
• 더 많은 데이터를 다루기 위한 일괄 처리 방식.