auto space by FST - beyondnlp/nlp GitHub Wiki

autospace by FST

Rouzeta를 어느 정도 수준으로 파악할수 있다면 WFST를 이용한 띄어쓰기 모듈을 개발할 수 있다.
이 페이지를 그 방법에 대한 간략한 설명을 담고 있다.

[example] 아래는 음절간 전이 그래프를 그래기 위한 문법이다.( by lexc )

!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!                     HPS by FST                    !!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

!noun : /n
!josa : /j


Multichar_Symbols   /j /n


!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

LEXICON Root
        noun ;! 일반명사



LEXICON noun !일반명사
이성친구/n  nNext;
이성동료/n  nNext;

LEXICON josa !조사
을/j    jNext;
이/j    jNext;
는/j    jNext;
로/j    jNext;
만/j    jNext;
은/j    jNext;
가/j    jNext;
과/j    jNext;
와/j    jNext;
도/j    jNext;
들/j    jNext;

LEXICON nNext
        josa;
        finLexicon;

LEXICON jNext
        finLexicon;
LEXICON finLexicon
     # ;

!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!! End of Document !!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

[example] 위 문법은 아래와 같이 그래프가 생성된다.

hps1

[test] 위 example을 기반으로 재작성한 문법이다.

!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!                     HPS by FST                    !!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

!noun : /n
!josa : /j


Multichar_Symbols   /js /nc /b


!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

LEXICON Root
        noun ;! 일반명사

LEXICON noun !일반명사
        죽음/nc nNext;
        의도/nc nNext;
        도로/nc nNext;

LEXICON josa !조사
        의/js   jNext;
        로/js   jNext;


LEXICON nNext
        noun;
        josa;
        finLexicon;

LEXICON jNext
        noun;
        finLexicon;

LEXICON finLexicon
        # ;

!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!! End of Document !!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
~

[test] 태그는 epsilon으로 치환

!!!!!!!!!!!!!!!!!!!!!!!
! Read hps Lexicon !
!!!!!!!!!!!!!!!!!!!!!!!

read lexc hps.lexc
define Lexicon ;
define josa_lex [ 이 | 가 ];
define josa_tag [ %/nc | %/js ];
define Filter1 %/nc -> %/w  || _ [ 이 | 가 ];
define Filter2 %/nc -> 0;
define Filter3 %/js -> 0;
define Filter4 %/w -> 0;
define test Lexicon
        .o. Filter1
        .o. Filter2
        .o. Filter3
        .o. Filter4
        ;


regex test ;
invert net
att > hps.att;

[test] 위 문법을 적용했을 경우의 그래프

hps2

openfst에 weight를 추가하는 방법

위 오토마타를 보면 '죽음/의/도로', '죽음/의도/로' 두가지 경로가 모두 존재한다.
7번 노드에서 4번 노드(의사) 또는 8번 노드(조사) 두가지 선택이 가능하게 된다.
현재는 weight를 동일하게 두었기 때문에 '죽음/의도/로'로 가 결과로 나오는데
의/js의 weight를 올리면 '죽음/의/도로'로 선택가능하게 된다.

0   1   의  의
0   2   도  도
0   3   죽  죽
3   4   음  음
4   5   @0@ /nc
5   6   로  로
5   7   의  의
5   2   도  도
5   3   죽  죽
7   4   도  도
7   8   @0@ /js
8   1   의  의
8   2   도  도
8   3   죽  죽
6   8   @0@ /js
2   4   로  로
1   4   도  도
5
8

위와 같은 at&t포맷을 보면 weight를 어떻게 부여할지 잘 모르겠다.

7   4   도  도
7   8   @0@ /js

7번 노드는 4번 노드, 8번 노드 두 가지 경로로 이동 가능하다.
두가지 노드 중 하나에 weight를 높이면 해당 경로로 이동할 가능성이 높다.

update weight

hps.lexc

!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!                     HPS by FST                    !!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

Multichar_Symbols   /js /nc /vv /ncp /xsp /ma

Definitions
        NUM       = %0|1|2|3|4|5|6|7|8|9 ;
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

LEXICON Root
        Hnc ;! 일반명사
        Hvv ;! 용언류
        Hncp;! 하다성 명사
        Hma;! 부사

LEXICON Hnc !일반명사
        죽음/nc nNext;
        의도/nc nNext;
        도로/nc nNext;

LEXICON Hncp !하다성 명사
        공부/ncp    ncpNext;
        노력/ncp    ncpNext;
        사랑/ncp    ncpNext;

LEXICON Hxsp !하다
        하다/xsp    xspNext;
        하고/xsp    xspNext;
        하면/xsp    xspNext;
        해서/xsp    xspNext;


LEXICON Hma !부사
        잘/ma   maNext;
        엄청/ma   maNext;
        아주/ma   maNext;
        매우/ma   maNext;

LEXICON maNext
        Hma;
        Hvv;
        final;
LEXICON Hvv ! 용언류
        행복한/vv   vNext;
        즐거운/vv   vNext;

LEXICON Hjs !조사
        의/js   jNext;
        로/js   jNext;

LEXICON vNext
        Hnc;
        final;

LEXICON nNext
        Hnc;
        Hjs;
        final;

LEXICON xspNext
        Hnc;
        Hjs;
        final;

LEXICON ncpNext
        Hxsp;
        Hma;
        final;

LEXICON jNext
        Hnc;
        final;

LEXICON final
        # ;

!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!! End of Document !!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

hps.script

!!!!!!!!!!!!!!!!!!!!!!!
! Read hps Lexicon !
!!!!!!!!!!!!!!!!!!!!!!!

read lexc hps.lexc
define Lexicon ;
define Filter1 %/nc -> 0;
define Filter2 %/js -> 0;
define Filter3 %/vv -> 0;
define Filter4 %/nn -> 0;
define Filter5 %/ncp -> 0;
define Filter6 %/xsp -> 0;
define Filter7 %/ma -> 0;
define test Lexicon
        .o. Filter1
        .o. Filter2
        .o. Filter3
        .o. Filter4
        .o. Filter5
        .o. Filter6
        .o. Filter7
        ;


regex test ;
invert net
att > hps.att

weight를 추가하는 프로그램 https://github.com/beyondnlp/nlp/blob/master/hps/wfst/attach_weight.c