• 피어세션
  • 최종 프로젝트
  • 한 주의 목표
    • 화
    • 수
      • 모이기 전에 할 일
    • 목? 금?
      • 논점
        • 석암
        • 마루찬
        • 박아멘
        • 원진
        • 영훈
        • 동건
        • 현승
• -> sentence_entity.csv
  • 데이터
  • 스페셜 미션 추천 TimeLine. (주제 : 컴퓨터과학)
    • 1. ~ 1주차 수요일
    • 2. ~ 1주차 금요일
    • 3. ~ 2주차 월요일
    • 4. ~ 2주차 수요일
    • 5. ~ 2주차 목요일
• 강의

• 2021.11.09 화

• 문석암_T2075
• 박마루찬_T2078
• 박아멘_T2090
• 우원진_T2137
• 윤영훈_T2142
• 장동건_T2185
• 홍현승_T2250

• 웹기반 서비스 (확정은 아님)

• 아이디어 생각해오기 (화)

  • 감정분류?
  • 요약하기?
  • 자동 질의응답봇?
  • API 서빙까지 생각해보자? (BE)

• KLUE RE task 가이드라인
• 어노테이션 예시 읽기
• 개체명 인식기(NER)
• 관계 클래스 map 템플릿
• 관계 가이드라인 템플릿
• RE 관계 클래스 설명 및 예시

• 태깅을 하자!
• Relation 10개 뽑기. - 각 Relation별로 obj, sbj의 entity 작성.

• Relation 후보 뽑아오기. 각자 4개? 근거 포함.

• 가이드라인 작성. 금요일에 제출.
• Relation map 제출.

• 어디서 부터 태깅하는가

0. 문장 분리

0-1. entity 추출

• sentence segmentation

  • 크롤링 진행해서 data 문장 자체에서 노이스 감소
  • KSS split

        use_heuristic= False,
        use_quotes_brackets_processing=True,
        그외 디폴트
    

• NER

  • pororo ner

    • 디폴트 사용
    • quantity 설정

  • 제거 가능하게 설정 가능

    • 태깅이 전혀 없는 경우
    • 태깅이 2개 미만인 경우

• sentence segmentation
  • lines = f.readlines(), for line in lines, split_sentences(line) (기본)
  • if '.' in sentence: 로 온점 있는 문장만 취급

• sentence segmentation
  • 온점과 \n 기준으로 나누고 수작업
  • 수식은 그대로 남김.
  • 이후 적당한 문장은 붙여줌. (수작업)
• ner tagging 관련
  • pororo 사용
  • entity가 없으면 제거. (유의미한 데이터도 많이 사라짐)

• sentence segmentation
  • 단어나열은 수작업으로 지워줌
  • "\n"-> " " 이후 kss
• pororo ner tagging

• sentence segmentation
  • "\n" split -> mecab 구두점 split
• sentence filtering
  • 종결 어미가 포함되지 않는 경우
  • pororo ner tagging으로 entity가 2개 이상 존재하지 않는 경우
  • 동사 또는 형용사가 포함되지 않는 경우

• sentence segmentation
  • konlpy.tag 내에 있는 Kkma.sentence

• sentence segmentataion ->split후, kss사용
• 잘린 문장들중, 문장이라고 여겨질 수 있는 문장들 추출->morph_filter 라는 함수 사용하였고, morph_filter안에 mecab이 들어가 있음(mecab으로 우리 나라말은 문장 안에 명사, 동사, 형용사를 다 포함해야 온전한 문장이므로, 문장이 3 요소를 다 포함하지 않고 있으면 삭제)
• pororo ner tagging

label 10개 - sub <-> obj

• 문장 하나에 relation 여러개 뽑을까?

2. 어노테이션 할때 같이 entity 결함있는 문장 완성하기

• en
• re
  • label 10개
    • sub - obj

• 캠퍼분들은 각 주제의 문서들에서 relation extraction을 할 때 고려할 만 한 "Relation"과 해당하는 "Entity type"들을 직접 선정합니다.

• ex) 파일에 있는 단어들의 관계를 만들어 주는 식으로?

  • 그래픽 카드.txt
    • <그래픽 카드>의 역사는 <1960년>대로 거슬러 올라간다.
    • 비디오 어댑터(video adapter), 디스플레이 카드(display card), 그래픽 보드(graphics board), 디스플레이 어댑터(display adapter), 그래픽 어댑터(graphics adapter)라고도 부른다. ->
      • <그래픽 카드> - <비디오 어댑터> -> 이름 : 별칭
      • <그래픽 카드> - <디스플레이 카드> -> 이름 : 별칭

• 선정된 Relation들을 정의하고, 해당 Relation set을 기반으로 문장에서 Entity를 잡아 어노테이션할 수 있는 가이드라인을 작성합니다. 이 때, 아래 주어지는 KLUE의 Relation set과 가이드라인을 참고할 수 있습니다.
• 가이드라인과 Relation map은 제출. 관련 피드백이 다음주에 있음.

• 최초의 데이터 어노테이션은 각 멤버 별로 나누어 진행합니다(이 단계에서는 서로 내용 공유 X). 즉, 전체 말뭉치를 문장 개수를 기준으로 쪼개 각 팀원 별로 할당합니다.

• 모든 캠퍼분들이 각자의 어노테이션을 완료하면, 완성된 문장(with subj/obj entities)-레이블 pair을 구글 스프레드시트로 옮깁니다

• 앞서 제작한 구글 스프레드시트의 Dropdown을 활용하여, 모든 캠퍼분들이 '자신이 직접 tagtog에서 제작하지 않은 Relation extraction 문장들에 대한' 어노테이션을 진행합니다.

• 본 어노테이션 과정에서 다른 사람의 태깅 및 제작자의 태그를 보지 않도록 합니다.

• 데이터의 일부 (보통 전체의 1/10 정도) 만 태깅하는 파일럿 태깅 (pilot tagging) 을 통해 서로의 이해가 다른 부분을 확인하고 discussion을 통해 가이드라인 및 relation set의 정의 등을 업데이트합니다. Pilot tagging 시에는 회의를 통해 서로의 어노테이션을 수정하는 것도 권장됩니다. 메인 태깅 (Main tagging) 시에는 웬만하면 pilot tagging에서 확정된 가이드라인을 바탕으로 어노테이션을 진행하는 것을 권장합니다.

• KLUE 강의에서 사용한 RE 학습 및 평가 코드를 활용하여 직접 만든 데이터의 성능을 체크합니다.

• 이번 과제의 정량적 평가지표는 4번 과정에서 나오는 IAA이며, Fleiss' Kappa를 기준으로 0.7을 넘기는 것을 목표로 합니다.

• 자율적으로 듣기