• https://en.wikipedia.org/wiki/Named-entity_recognition

Named-entity recognition (NER) (also known as entity identification, entity chunking and entity extraction) is a subtask of information extraction that seeks to locate and classify named entities in text into pre-defined categories such as the names of persons, organizations, locations, expressions of times, quantities, monetary values, percentages, etc.

요약하면 NER은 텍스트에서 기 정의된 카테고리 위치와 어떤 Entitiy로 분류할지 결정하는 작업이다. 카테고리는 인물, 기관, 지역, 시간 표현, 수량, 통화, 퍼센트 등을 의미한다.

1. NE는 계속 변화한다. 그래서 지속적인 update가 중요하다. 
  - 서비스 상황에서 인식해야 될 NE(영화명, 인명 등 )가 계속 나타났다 사라지기도 한다.
2. 기계학습은 서비스의 요구사항을 맞추는데는 단독으로는 불충분하다. 빠른 대응 손쉬운 튜닝이 어렵기 때문이다.
3. 규칙기반 역시 단독으로는 서비스 사용이 어렵다. 규칙기반은 일반적으로 재현율이 문제가 될 수 있다.
  - 재현율에 문제가 생기는 원인 중 하나는 성능 이슈 때문에 짧은 음절은 규칙에서 배제하는 경우가 일반적이다. 
  - 규칙을 자세히 기술하면 커버리지가 좁아지고 그렇지 않으면 정확률에 문제가 발생한다. 규칙은 가급적 정확률이 떨어지지 않는 범위에서 자세한게 좋다.
4. 프로그램은 서비스에 쉽게 설치해서 사용할 수 있어야 하고 경우에 따라 수정이 용이해야 한다.
# 그래서 서비스를 염두해 둔다면 ML로 학습을 하더라도 decoder를 직접 개발하고 속도 튜닝도 병행한다. 가능하다면(optional)

이 글에서는 NER개발시 실무에서 고려해야 될 것과 중요하게 생각하는 것이 무엇인지 서술한다.

무슨 일이든 학습 코퍼스가 있는지 없는지에 따라 난이도가 달라진다. 있으면 그나마 다행이고 없으면 어떻게든 구축을 하거나 세세한 조건식을 만들어야 한다. 여기서는 코퍼스가 있을때의 문제들이다. 코퍼스가 있다고 해도 사용할 문장의 성격이 구어체인지 문어체인지 가지고 있는 학습코퍼스와 같은 문체인지가 중요하다. 기계학습이건 규칙기반이던 문맥을 학습하고 규칙을 추출하는 것이기 때문에 구어체 문어체와 같이 상이한 문체에서는 성능저하를 필연적이다.

이해를 돕기 위해 다음과 같은 내용을 가정한다.( 내가 만난 상황 )

우선 임의의 학습 코퍼스가 존재한다. 학습 코퍼스의 양은 10만 정도이다. 총 15개의 대표 카테고리로 태깅이 돼 있다.( 세부 태그는 50여개 ) 그런데 내가 사용할려고 하는 것은 대표태그가 아니고 세부 태그이고 50여개 중 20여개를 사용하고자 한다. NER 에트리 태그셋

• 여러가지 걸림돌들

우리가 만나는 첫번째 난관은 alignment이다. alignmnet는 일반적으로 기계번역에 source language와 target langage간에 매핑할 때 자주 사용하는 개념인데 NER을 하게 되도 비슷한 문제를 만나게 된다. NER 코퍼스는 <>로 둘어쌓인 형태의 Entity가 포함된 Plain txt형식으로 돼 있다.

예시:

오늘 <김어준의 뉴스공장:ETC_PROGRAM>을 들었다.

그런데 다루기 쉽게 하기 위해 형태소 단위로 정렬(sort 아님)을 한다. 형태소 분석은 어절의 경계를 확인하기 위해서도 필요하고 CRF 학습용 CONLL Format 형식의 데이터를 만들기 위해서도 필요하다.

NER 코퍼스를 plain text(NE가 태깅되지 않은)로 만들고 형태소 분석을 한다.( 어절의 포지션을 입력어절 기준으로 계산하기 위해 ) 그러면 형태소 분석된 문자열이 만들어지고 NER 원본 코퍼스에 alignment하는 작업을 해야 한다. 어려운 작업은 아니지만 상당히 번거로운 일이다.

• gazette 추출 이후에 학습 데이터에서 gazette를 추출한다. gazette(이하 GA)는 NER의 기분석 사전이라고 생각하면 된다. GA는 형태소 단위로 추출한다. 그래서 하나의 형태소에 n개의 레이블이 될 가능성이 생긴다. 전체를 다 사용해도 되지만 빈도수를 고려해 상위 2,3개 정도 레이블만을 사용했다.

’’’ GA예제 ‘’’

• 데이터 변환 이제 다른 문제를 살펴보겠다. 아래와 같은 학습 데이터에 있다고 하자

<김어준의 뉴스공장:ETC_PROGRAM>

요구사항에는 ETC_PROGRAM은 사용하지 않을 경우 김어준의 뉴스공장은 Named Entity에서 해제가 된다 수작업을 거치지 않는 한 김어준은 PERSON으로 태깅되지 않는다.

즉 아래와 같이 문서가 변경될 것이다.

김어준의 뉴스공장

학습 데이터에서 '김어준'은 태깅이 되기도 하고 되지 않기도 하는 일관성 문제가 야기된다.

그럼 처음부터 50개의 세부 태그를 다 사용하면 어떤가?라고 질문할 수 있다. NER을 여러 번 테스트한 결과 성능은 label의 개수에 반 비례한다. 그래서 되도록 학습 데이터는 필요한 label만 남기는 것이 필요하다. 둘 사이의 trade off는 확인이 필요하다.

• 자동 규칙 추출 학습 데이터가 이미 있다면 수작업으로 규칙을 뽑지 않고 자동으로 규칙을 추출할 수도 있다.

1. 조건 <대상> ex. 교감 <홍길동:person>
2. <대상> 조건 ex. <홍길동 :person> 씨
3. 조건1 <대상> 조건2 ex. ( <19:age> )
4. 조건1 <> 조건2 ex. 사단장 <: person> 중장
5. • <대상> * ex. * 문재인 *

• 다어절 NE 매칭 방법 그리고 다어절의 경우는 Aho Corasick(이하 AC)으로 매칭한다. 다만 주의할 점은 어절의 경계에 있는지 확인이 필요한다.(어절의 중간에 매칭된 경우는 버림)

• NE는 짧을수록 NE 중의성이 높아지고 길어질수록 낮아진다. 따라서 위 5가지 조건은 형태소 단위( 짧은 NE )일때 적용하고

• 긴 NE( category가 1개 인 경우 )는 AC를 사용하여 한번에 처리한다.

CRF로 학습방법을 정했다면 CRF++, CRFSUITE 정도의 라이브러리를 사용할수 있다.( 열거한 것 이외에도 CRF라이브러리는 많이 있다 ) CRF++은 정확도가 상대적으로 높긴하지만 10만 건 이상에서는 학습 속도가 느려 사용하기 어렵다.( 물론 적은 데이터에서는 사용할만하다 ) CRFSUITE는 single thread임에도 상당히 빠르다.

여기서는 데이터가 10만 정도여서 CRFSUITE를 선택한다. CRFSUITE는 3가지 모드를 지원한다.

• learn : 학습용
• tag : 테스트용
• dump : 모델을 txt 파일로 변환

crfsuite를 통해 model을 dump하면 다음과 같은 형식의 파일이 만들어진다.

• http://www.chokkan.org/software/crfsuite/tutorial.html

FILEHEADER = {
  magic: lCRF
  size: 28242501
  type: FOMC
  version: 100
  num_features: 0
  num_labels: 23
  num_attrs: 338547
  off_features: 0x30
  off_labels: 0x8B4EE4
  off_attrs: 0x8B5A0C
  off_labelrefs: 0x169C145
  off_attrrefs: 0x169C515
}

LABELS = {
      0: B-NP
      1: B-PP
      2: I-NP
      3: B-VP
      4: I-VP
      5: B-SBAR
      6: O
      7: B-ADJP
      8: B-ADVP
      9: I-ADVP
     10: I-ADJP
     11: I-SBAR
     12: I-PP
     13: B-PRT
     14: B-LST
     15: B-INTJ
     16: I-INTJ
     17: B-CONJP
     18: I-CONJP
     19: I-PRT
     20: B-UCP
     21: I-UCP
     22: I-LST
}

ATTRIBUTES = {
      0: U00=
      1: U01=
      2: U02=Confidence
      3: U03=in
      4: U04=the
      5: U05=/Confidence
      6: U06=Confidence/in
      7: U10=
... (snip) ...
}

TRANSITIONS = {
  (1) B-NP --> B-NP: 2.327985
  (1) B-NP --> B-PP: 4.391125
  (1) B-NP --> I-NP: 30.372649
  (1) B-NP --> B-VP: 7.725525
  (1) B-NP --> B-SBAR: 1.821388
  (1) B-NP --> O: 3.805715
  (1) B-NP --> B-ADJP: 4.801651
  (1) B-NP --> B-ADVP: 3.842473
... (snip) ...
}

TRANSITIONS_FROM_BOS = {
  (2) BOS --> B-NP: 17.875605
  (2) BOS --> B-PP: -0.318745
  (2) BOS --> I-NP: -4.387101
  (2) BOS --> B-VP: -0.383031
  (2) BOS --> I-VP: -1.163315
  (2) BOS --> B-SBAR: 1.368176
  (2) BOS --> O: 2.783132
... (snip) ...
}

TRANSITIONS_TO_EOS = {
  (3) B-NP --> EOS: 16.156051
  (3) B-PP --> EOS: -1.045312
  (3) I-NP --> EOS: -2.762051
  (3) B-VP --> EOS: -0.767247
  (3) I-VP --> EOS: -1.113502
  (3) B-SBAR --> EOS: -2.407145
  (3) O --> EOS: 4.131429
... (snip) ...
}

STATE_FEATURES = {
  (0) U00= --> B-NP: -2.622045
  (0) U00= --> B-PP: -1.562976
  (0) U00= --> I-NP: -2.555526
  (0) U00= --> B-VP: -1.329829
  (0) U00= --> I-VP: -1.152970
  (0) U00= --> B-SBAR: -2.590170
  (0) U00= --> O: -1.584688
  (0) U00= --> B-ADJP: -1.526879
... (snip) ...
}

crfsuite로 학습하고 dump를 이용해 모델을 텍스트 형식으로 내린 이후에 해당 파일을 사용하겨 decoder를 개발한다.

crfsuite에서 BOS, __EOS__는 학습시 feature중 하나로 사용한다. 개발자가 tutorial로 만들어 놓은 chunking.py나 ner.py를 보면 문장의 시작 형태소와 마지막 형태서에 BOS, __EOS__를 각각 추가하는 것을 볼수 있다.

crf++도 텍스트로 모델을 변환할수 있다. 디코더를 만든다면 중간에 컨버터만 있으면 어디에서 학습한 모델이건 사용이 가능하다.

• 참고 chunking.py

그래서 Node를 구성할때 BOS난 EOS를 따로 만들 필요가 없다. '미션 임파서블' 이라는 두 어절(형태소)를 decoder에서 분석할때 미션에 해당하는 feature의 확률들의 곱과 임파서블에 해당하는 feature의 확률들의 곱 그리고 미션이 가질수 있는 label과 임파서블이 가질수 있는 label의 전이 확률이 있으면 decoder는 개발이 완료된다. 개발할 당시 dump 데이터와 crfsuite tag의 실제 코드에서 출려되는 확률값을 비교해보면 간간히 소수점 5째 자리에서 1씩 차이가 나는데 아마도 자릿수 문제로 보인다.

• https://en.wikipedia.org/wiki/Named-entity_recognition
• usage CRFSUITE
• https://github.com/krikit/annie
• http://aiopen.etri.re.kr/data/003.%EA%B0%9C%EC%B2%B4%EB%AA%85%EC%9D%B8%EC%8B%9D_%EA%B0%80%EC%9D%B4%EB%93%9C%EB%9D%BC%EC%9D%B8.pdf